图像修复的完整脉络：从像素传播到可控生成

图像修复的核心，是在保留可见内容的同时，为缺失或被选中的区域补入与上下文协调的内容。这个领域经历了四次能力扩展：延续周围像素、借用已有纹理、学习图像语义，以及根据用户意图生成内容。它们至今仍然并存，适合解决不同问题。本文覆盖 1999–2025 年的代表性研究，包括主要技术路线、它们解决的问题，以及如何评价修复效果。

English version: Image Inpainting: A Complete Overview.

1. 图像修复到底修什么

这里的“图像修复”指 Image Inpainting，已知掩码的区域补全。输入通常有原图 I、掩码 M，以及可选的文本、结构线或参考图。本文约定 M=1 表示待修复区域，M=0 表示保留区域。若要求掩码外像素严格保留，可在输出阶段组合原图与预测图 Î：

I_out = (1 − M) ⊙ I + M ⊙ Î

这是像素域合成关系，不能据此认定任意模型原始输出都保持已知区不变。羽化掩码会形成一个混合带，因此需要明确允许修改的边界范围。

补全一般没有唯一答案。遮住半张脸后，模型可能生成一张自然的脸，却不能证明那就是原来的脸。评价时需要区分“接近真值”“视觉自然”和“满足编辑意图”。

2. 一张图看懂技术关系

下图表示思想与问题的联系，不代表所有论文存在直接继承关系，也不是按年份淘汰旧方法。

阅读任何方法时都可以追问：先修哪里，内容从哪里来，如何选候选，怎样维持整体结构，是否允许多个答案，以及用户怎样控制答案。

3. 1999–2004：从像素延续与纹理合成开始

早期的两个问题不同：划痕需要延续附近颜色与边缘，大片缺损则需要纹理材料。

结构传播强调轮廓和等照度线的连续性。Bertalmío 等的 2000 年工作将这一思路用于数字图像修复；Telea 的 2004 年方法则利用快速行进机制，从边界向内部估计像素。它们是理解小区域修复的基础，但局部传播无法凭空推断大块语义内容。Bertalmío 2000、Telea 2004

纹理合成强调寻找可借用的材料。Efros & Leung（1999）通过相似邻域逐像素采样；Image Quilting（2001）改为拼接图像块并处理重叠接缝。它们给后来的样例补全提供了“从已有纹理中搜索与组合”的基础。非参数纹理合成、Image Quilting

这一阶段的共同边界是：局部颜色与纹理可用，不等于整体场景语义可推断。另一个容易混淆的概念是“扩散”：这里的 PDE 信息传播与后来通过噪声去除进行采样的生成式扩散，属于不同算法机制。

4. 2003–2015：样例块把结构与纹理结合起来

Criminisi 等的 2003/2004 年工作将填充顺序与图像块复制结合起来：找出缺失区域的边界，为边界块计算优先级，从已知区域寻找相似块，复制未知部分，再更新掩码和置信度。Criminisi 2003、Criminisi 2004

经典优先级写为 P(p) = C(p) · D(p)。置信项 C 表示当前块拥有多少可靠信息，数据项 D 强调进入缺失区域的结构。这个框架回答了两个问题：先修哪里，以及填充材料从哪里来。

它的局限也很清楚：错误块可能随着填充传播；颜色相近的候选未必具有正确方向；原图没有合适材料时，复制不能补出真实语义。后续研究因此沿不同方向展开。

PatchMatch 首先是匹配算法。一个完整的修复系统还需要填充或重建机制、掩码处理和一致性约束，不能把快速搜索直接等同于完整补全。

5. 2016–2019：从原图材料走向学习式语义生成

当原图里没有可复制的眼睛、窗户或动物轮廓时，模型需要图像外的知识。深度学习将训练数据中的图像规律变成可用于补全的先验。

Context Encoders（2016）使用编码器—解码器预测缺失内容，结合重建与对抗目标，使网络学习外观和语义。2017 年的 Globally and Locally Consistent Image Completion 使用全局和局部判别器，分别检查整体协调与局部真实性。Context Encoders、全局与局部一致补全

Contextual Attention（2018）进一步显式借用已知区域的深度特征，让生成网络同时利用原图细节。这里与传统样例方法形成联系：候选匹配从像素域进入了学习到的特征域。Contextual Attention

能力由此从“复制原图已经拥有的内容”，扩展到“结合原图证据与学习先验预测缺失内容”。代价是结果受到训练分布影响；一张自然的生成图也可能偏离原始物体形状。

6. 2018–2020：掩码、结构、细节和多解分别成为问题

普通卷积会同时处理有效像素与缺失区的占位值。大面积占位可能干扰颜色和特征，因此首先需要区分哪些输入可信。

这几条路线并行发展：掩码感知处理输入有效性，结构引导处理形状，特征借用处理细节，多解模型处理不确定性。它们不是彼此排斥的算法类别。

7. 2021–2023：全局信息决定大孔洞与高分辨率表现

模型可能生成漂亮纹理，却把窗格画歪、让直线断开。原因之一是局部特征不足以约束整个画面的关系。

这些方法说明，“先结构后纹理”“借用可见材料”等旧问题一直存在，只是表示和求解机制改变了。高分辨率也不能仅由输出尺寸判断：还要检查是否缩小处理后再放大、局部细节是否真实保留，以及线条和接缝是否连续。其中 LaMa 已成为默认的开源模型，也是少数能在浏览器里直接运行的强模型，本站提供在线LaMa 图像修复工具。

8. 2022–2025：扩散把补全扩展为可控编辑

生成式扩散通过逐步去噪产生内容。用于修复时，采样或网络必须接收已知图像、掩码和其他条件，协调可见内容与新生成内容。

RePaint（2022）在预训练无条件扩散模型的采样中加入已知区域约束，并通过重采样改善协调。Latent Diffusion Models（2021 预印本 / CVPR 2022）将扩散移到压缩潜空间，降低生成成本并支持条件生成与修复。RePaint、LDM

后续重点扩展到意图表达、条件接入与效率。

对于“删除一个人”，用户想要背景；对于“加入一把椅子”，用户想要指定对象。两者即使使用相同掩码，目标也不同。因此现代修复需要同时检查上下文一致、提示遵循和已知区保真。扩散也并非所有任务的最佳替代：实际选择仍取决于速度、可控性、细节与失败成本。

9. 视频修复：多了真实证据，也多了时间约束

单张照片里的遮挡可能没有答案，视频里的同一背景却可能在其他帧出现。视频补全因此需要先利用跨帧证据，再处理仍无证据的区域。

路线从时空块匹配发展到光流传播、跨帧注意力，再到传播与 Transformer 的结合。ProPainter（ICCV 2023）通过光流补全、像素与特征双域传播、掩码引导稀疏 Transformer 组合这些能力。ProPainter 论文

逐帧结果自然还不够；连续播放时，背景可能闪烁、纹理漂移，物体形状可能跳变。评价还需要覆盖光流错误、遮挡变化、镜头切换和长期时间一致性。

10. 从任务出发理解方法取舍

实际流程通常包括：统一图像方向与掩码尺寸、明确掩码极性、选择修复意图、运行补全、保留或混合已知区、检查边界和结构、导出结果。蒙版漏掉阴影或反射，即使算法正常，也可能让物体痕迹残留。

11. 如何评价，才能形成研究闭环

评价至少分开观察缺失区、已知区和边界带。整图平均分容易被大量未修改像素稀释。

推荐实验流程：固定测试图片、掩码形状与占比；覆盖小孔洞、长线条、重复结构、脸部和大物体；统一尺寸与模型设置；同时记录区域指标和视觉结果；保留失败案例；涉及随机采样时记录种子、候选数量与选择规则。这些评价维度服务于不同目标，不应合并成一个没有解释的“修复质量分”。RePaint 的论文 也讨论了多解输出与单一真值感知指标之间的局限。

12. 阅读路线，以及本站的位置

可以按问题而非单纯年份阅读：

• 像素怎样延续：Bertalmío、Telea。
• 纹理材料从哪里来：Efros & Leung、Image Quilting、Criminisi。
• 搜索与组合怎样变可靠：结构传播、全局优化、PatchMatch、Patch Sparsity、Patch Offsets。
• 原图没有材料怎么办：Context Encoders、全局与局部一致补全。
• 如何利用可见特征：Contextual Attention、Partial/Gated Convolution、PEN-Net。
• 形状与多解怎样处理：EdgeConnect、Pluralistic Image Completion。
• 全局关系与信息损失怎样处理：LaMa、MAT、ZITS、PUT。
• 如何按意图生成并控制成本：RePaint、LDM、PowerPaint、BrushNet、TurboFill。
• 跨帧证据怎样利用：视频补全与 ProPainter。

上面这条样例链中，与本站实际运行的算法最接近的是样例块分支：Criminisi → 候选块表示与评价 → 搜索效率与整体一致性 → 深度特征借用。本站工具实现的是 Criminisi 框架的 2016特征优先改进版——一种非生成式的经典方法，只从你的图片里借用真实像素，因此可以在浏览器里私密运行。当原图没有可借用的材料时，就是上面深度模型与扩散方法的用武之地。

图像修复的发展贯穿着三个要求：充分利用仍然可见的证据，在没有证据的地方建立合理先验，并让补全目标与用户意图一致。新模型提升了这三方面的能力，旧方法仍为理解结构、纹理、匹配和误差传播提供基础。