（论文速读）基于扩散模型的无训练产业缺陷生成

论文题目：Training-Free Industrial Defect Generation with Diffusion Models（基于扩散模型的无训练产业缺陷生成）

会议：ICCV 2025

摘要：在工业异常检测中，异常产生已经成为解决缺陷样本稀缺性的关键。然而，现有的基于训练的方法不能同时处理复杂的异常和多个缺陷，特别是当每个缺陷类型只有一个异常样本时。为了解决这一问题，我们提出了一种新的免训练缺陷生成框架TF-IDG，它能够在一次扫描环境中生成不同的异常样本。我们提出了一种特征对齐策略，通过最小化生成的缺陷和高复杂度的真实缺陷之间的分布差距来提供细粒度的外观指导。此外，我们引入了自适应异常掩码机制来缓解缺陷在生成过程中忽略小区域的问题，从而提高了合成缺陷与其对应掩码之间的一致性。最后，我们加入了纹理保存模块，从无异常的图像中提取背景信息，确保合成缺陷的视觉属性无缝地整合到图像中。大量的实验证明了我们的方法在生成准确多样的异常方面的有效性，从而在下游异常检测任务中获得了优越的性能。

代码可以在https://github.com/rubymiaomiao/TF-IDG.上找到

TF-IDG：无需训练，一张样本就能生成逼真工业缺陷！

一、背景与问题

在工业质检领域，机器学习模型的效果很大程度上取决于缺陷样本的数量与多样性。然而，现实生产线上真实缺陷数据极度匮乏——采集困难、标注昂贵，每种缺陷类型往往只有寥寥几张样本，极端情况下甚至只有一张（one-shot setting）。

现有的异常生成方法主要分为两类：

1. 手工编辑方法（Manual Editing）如 Cut-Paste、Crop-Paste 等，直接将异常纹理粘贴到正常图像上。这类方法虽然简单，但生成的缺陷缺乏结构连贯性和真实感，难以有效提升模型精度。

2. 生成模型方法（Generative Models）GAN 类方法（如 DFMGAN）需要大量缺陷数据进行训练，在数据极少时表现不佳；基于扩散模型的方法（如 AnoDiff）通过微调文本嵌入来学习异常外观，但受限于参数规模和训练样本数量，对复杂缺陷和多缺陷同时生成的处理能力较弱。

这些训练类方法都面临一个共同痛点：当每种缺陷类型只有一张参考图时，模型难以捕捉多样化的缺陷特征，生成能力受到严重制约。

论文指出，现有方法在处理以下四类典型缺陷时尤为吃力：

  • Elongated（细长型）：如细线状划痕
  • Tiny（微小型）：如针孔、小凹坑
  • Multiple（多缺陷）：同一图像中存在多处异常
  • Complex（复杂型）：结构复杂的缺陷，如晶体管上的异常

【论文 Figure 1 Left：四类缺陷的可视化对比，展示了 TF-IDG 相比 AnoDiff 和 DFMGAN 在四类缺陷上的生成质量优势】

二、论文提出的方法：TF-IDG

针对上述问题，论文提出了TF-IDG（Training-Free Industrial Defect Generation），一个无需训练、支持 one-shot的工业缺陷生成框架。

TF-IDG 建立在零样本图像编辑框架Anydoor之上，结合自监督视觉模型DINOv2进行特征提取，以及ControlNet提供形状控制。但 Anydoor 在工业场景中存在几个关键缺陷：

  • 在复杂场景下几何对齐困难
  • 无法有效处理多缺陷合成
  • 缺陷与背景融合不自然

为解决这些问题，TF-IDG 在推理阶段引入了三个关键模块，通过梯度引导优化来提升生成质量，无需对模型进行任何微调。

【论文 Figure 2：TF-IDG 整体架构图，展示三个模块（Feature Alignment、Adaptive Anomaly Mask、Texture Preservation）的数据流与交互关系】

2.1 特征对齐模块（Feature Alignment, FA）

问题动机：DINOv2 在工业场景下存在特征偏差，导致生成的缺陷与真实缺陷之间存在分布差距。

核心思路：在扩散采样的前 n 步（经验上设为总步数的 3/5），从 UNet 中间层提取生成缺陷特征和参考缺陷特征，通过能量函数约束二者的分布距离，将生成特征拉向真实缺陷特征。

技术细节：

初步尝试用余弦相似度（CosSim）衡量特征对齐效果，但发现对区域内特征取均值后压缩了局部细节，导致细长型缺陷的边缘仍然模糊。

因此，论文采用Sinkhorn Distance（最优传输距离）替代余弦相似度。该方法将特征对齐视为最优传输问题，通过最小化两组特征向量集合之间的传输代价，捕捉细粒度空间关系，在保持形状多样性的同时维持结构一致性：

其中 P 是最优传输计划，为熵正则化项，为特征向量间的余弦距离。

【论文 Figure 3：不同梯度引导方式（baseline、cosine、sinkhorn）对缺陷外观的影响对比，直观展示 Sinkhorn 距离的优越性】

2.2 自适应异常掩码模块（Adaptive Anomaly Mask, AAM）

问题动机：在多缺陷生成或掩码形状不规则时，面积较小的缺陷区域往往在生成过程中被"忽略"——随着扩散采样推进，小缺陷区域的激活值迅速衰减，导致生成结果与掩码不符。

【论文 Figure 4：不同时间步下和的编辑梯度可视化，展示小缺陷区域的激活衰减现象及 AAM 的补救效果】

核心思路：动态计算一个自适应掩码，专门标记那些"尚未发生明显变化"的区域，并对这些区域施加额外的外观引导。

具体步骤：

  1. 在每个时间步 t，将当前生成图像与正常图像作像素级差分，得到差异图：

  2. 对差异图按阈值 $\tau$ 二值化，得到自适应掩码——差异小的区域说明该处缺陷尚未生成：

  3. 在所对应的区域上，再次计算 Sinkhorn Distance，施加局部外观引导损失：

最终总损失为，同时兼顾全局和局部对齐。

2.3 纹理保留模块（Texture Preservation, TP）

问题动机：缺陷的纹理和颜色与背景不一致，会造成"生硬粘贴"的视觉效果，而非无缝融合。工业缺陷本质上是对物体表面的损伤或位移，需要与周围背景保持高度上下文一致性。

技术细节：

该模块分两步实现：

Step 1：Dual Source Attention（双源注意力）从 DDIM 反演记忆库中提取正常图像的 key和 value，在自注意力计算中将其与生成图像的 key/value 拼接，让模型同时关注生成内容和背景风格：

Step 2：AdaIN 颜色校正由于注意力层分辨率较低，单纯使用注意力机制难以实现精细的颜色修正。因此在隐空间直接使用自适应实例归一化（AdaIN）对颜色分布进行对齐：

这一步确保生成缺陷区域的颜色分布与正常背景匹配，实现视觉上的无缝融合。

三、实验设置

数据集与评测协议

论文在两个工业异常检测基准上进行评估：

  • MVTec AD：15 类工业对象，含 73 种缺陷类型
  • VisA：12 类对象，背景更复杂，缺陷更细小

评测采用两种协议：

  • Few-shot setting：每类缺陷用 1/3 图像作参考，2/3 作测试
  • One-shot setting：每类缺陷仅用 1 张图像作参考（用 † 标记）

评测指标

生成质量：

  • Local IS（局部 Inception Score）：在掩码裁剪的缺陷区域内计算，专门衡量细粒度和小缺陷的生成质量
  • IC-LPIPS：量化生成异常簇之间的多样性

下游检测性能：

  • 图像级：AUROC、AP、F1-max
  • 像素级：AUROC、AP、F1-max、Pro

实现细节

骨干网络选用Stable Diffusion V2.1和Anydoor 训练的 ControlNet。关键参数：ControlNet scale=1，DINOv2 guidance scale=4.5，总采样步数 T=50，梯度引导步数范围，纹理保留模块激活时间步，梯度引导强度。每类异常生成 1000 张图像用于后续实验。

四、实验结果

4.1 生成质量对比

与 Crop-Paste、DFMGAN、AnoDiff、AnoGen、DIAG 五种方法对比，TF-IDG 在生成质量上取得了显著领先：

【论文 Table 1：在 MVTec AD 和 VisA 上用 Local IS 和 IC-LPIPS 对比各方法的生成质量】

在 MVTec AD 上，TF-IDG 的 Local IS 达到3.32，显著优于排名第二的 AnoGen（2.84）；在 VisA 上达到3.90，同样大幅领先（AnoGen 为 3.28）。IC-LPIPS 方面与最优方法持平，说明生成的缺陷既有质量保证，也保持了足够的多样性。

定性结果也印证了这一点：

【论文 Figure 5：DFMGAN、AnoDiff、AnoGen、DIAG 与 TF-IDG 的定性对比，展示在 MVTec AD 和 VisA 上的生成样例】

训练类方法倾向于产生不真实的伪影或结构上不合理的缺陷，而 TF-IDG 在生成细线状、多发性、结构复杂的缺陷（如晶体管异常、PCB 缺陷）方面表现出色。

4.2 异常分类性能

用各方法生成的 1000 张图像训练 ResNet-34 分类器，在 MVTec AD 14 类上进行评估：

【论文 Table 2：在 MVTec AD 上用 ResNet-34 评估异常分类准确率（%）】

TF-IDG 的平均分类准确率达到79.84%，比排名第二的 AnoDiff（66.09%）高出约13.75%。在 bottle（95.53%）、screw（97.53%）等类别上取得了接近满分的成绩，而且即便是 one-shot 版本（71.92%），也超越了大多数 few-shot 训练方法。

4.3 异常检测与定位性能

用生成数据训练 U-Net 进行置信度推断，评估检测与定位性能：

【论文 Table 3：在 MVTec AD 和 VisA few-shot setting 下，用 U-Net 训练后的检测与定位定量结果】

在 MVTec AD 上，TF-IDG 的图像级 AUROC 达到99.6%，像素级 AUROC 达到99.1%，Pro 得分为95.8%，各项指标均为最优。

在更具挑战性的 VisA 数据集上，TF-IDG 在图像级 AUROC 上取得97.4%，相比排名第二的方法（AnoDiff，91.4%）提升了约6.0%；Pro 得分为91.6%，提升约3.1%。

4.4 与下游检测模型的结合

将 TF-IDG 生成数据分别集成到 one-to-one 检测模型 GLASS 和多类检测模型 UniAD：

【论文 Table 5：TF-IDG 生成数据与 GLASS、UniAD 结合后在 MVTec AD 和 VisA 上的定量结果】

  • Ours + GLASS：在 VisA 的 Pro 分数上比原版 GLASS 提升3.4%
  • Ours + UniAD：在 VisA 的 i-AUC 上提升5.4%，在 MVTec AD 的 i-AUC 上提升2.5%

这说明 TF-IDG 生成的数据能有效辅助现有检测框架，具有较强的实用价值。

4.5 参考样本数量的影响

【论文 Table 4：在 MVTec AD 上，不同参考样本数量（k=1,3,5）下各方法的性能对比】

随着参考样本数增加，所有方法性能均有提升，但 TF-IDG 在各数量设置下始终保持领先，且其分类准确率的方差明显小于其他方法，说明该方法对参考样本数量的鲁棒性更强。

五、消融实验

【论文 Table 6：各模块的消融实验，从生成质量（L-IS）、分类准确率（Acc）、像素级 AUROC（p-AUC）三个维度评估贡献】

  • Sinkhorn：分类准确率从 65.41% 跃升至 78.33%，提升最为显著
  • AAM 模块：进一步提升定位精度，p-AUC 从 98.2% 提升至 99.0%
  • TP 模块：增强图像真实感，带来整体性能的全面提升

六、总结与贡献

TF-IDG 是首个在真正training-free + one-shot设置下解决工业缺陷生成问题的方法，其核心贡献可以归纳为三点：

  1. 无训练开销：无需微调任何模型，可即插即用地应用于各类缺陷类型，极大降低了实际部署门槛。

  2. 三模块协同设计：

    • Feature Alignment（Sinkhorn 距离）解决分布偏差，保证复杂缺陷的结构准确性
    • Adaptive Anomaly Mask 解决小缺陷被忽略的问题，增强局部覆盖
    • Texture Preservation 解决纹理/颜色不一致，保证视觉真实感

  3. 全面领先的实验结果：在 MVTec AD 和 VisA 两个基准上，在生成质量和下游检测任务上均大幅超越现有方法，与最强 few-shot 方法相比也毫不逊色，甚至在多项指标上取得新的 SOTA。

对于工业界实际应用而言，TF-IDG 提供了一套切实可行的数据增强方案，仅凭极少量真实缺陷样本，即可构建高质量的合成训练数据集，显著提升下游检测模型的性能。