1. 论文信息与代码链接项目内容题名Memory Augment Is All You Need for Image Restoration作者Xiaofeng Zhang、Xuhang Chen、Chaochen Gu、Shanying Zhu、Kim-Fung Tsang、Xinping Guan年份2026出处IEEE Transactions on Consumer ElectronicsDOI10.1109/TCE.2026.3655769论文链接https://doi.org/10.1109/tce.2026.3655769代码链接https://github.com/zhangbaijin/MemoryNet2. 论文摘要这篇工作提出了面向多种图像退化恢复的MemoryNet。作者的核心思路是先用DA-CLIP感知输入图像的退化类型再通过带有三粒度记忆的恢复网络完成重建从而同时处理雨滴、阴影、模糊和低照度等不同退化。3. 方法介绍整体框架是“退化感知 记忆增强恢复”输入退化图像后先由DA-CLIP识别退化信息再送入MemoryNet进行细节重建。图 1MemoryNet框架图上图对应整体流程DA-CLIP负责退化感知主干恢复网络负责内容重建二者共同构成统一恢复框架。MemoryNet的核心是三层记忆增强分别对应part、instance和semantic三个粒度。记忆库以可学习原型矩阵的形式存在网络通过特征与原型之间的相似度检索匹配项再将检索到的原型聚合回特征图。三层记忆是逐级组织的高层记忆由低层记忆加权汇聚而来。作者还设计了记忆读取顺序先读取part级记忆再读取instance级记忆最后读取semantic级记忆使恢复过程从局部纹理逐步过渡到全局结构。记忆增强后的特征再与解码器浅层特征进行跳连融合提升细节重建能力。训练目标由多部分组成包括Charbonnier loss、edge loss和记忆重建约束Lrecon并结合对比学习进一步约束特征表示使记忆库学习到更稳定、可复用的结构原型。4. 实验设置和结果作者在ISTD、DeRainDrop、LOL-v2和GoPro上进行验证对应去阴影、去雨滴、低照度增强和去模糊任务。评价指标主要使用PSNR、SSIM去阴影任务还报告了RMSE。任务数据集指标结果去阴影ISTDPSNR / SSIM / RMSE原稿未给出完整表格数值文中称在部分阴影、非部分阴影和无阴影区域取得较强结果其中无阴影区域的RMSE达到新的最好表现。去雨滴DeRainDrop test-bPSNR / SSIMSSIM 0.84PSNR 25.38 dB其中SSIM为最高PSNR为第二高。去雨滴DeRainDrop test-aPSNR / SSIMSSIM 0.904PSNR 24.64 dB两项均为最好。去模糊GoProPSNR / SSIM原稿未给出完整数值作者表示结果具有竞争力但仍弱于DGUNet。低照度增强LOL-v2PSNR / SSIM原稿未给出完整数值对比结果主要通过可视化展示。图 2雨滴去除对比图上图展示了DeRainDrop的可视化对比作者用它说明记忆增强对雨滴结构的抑制更稳定恢复结果更接近真实图像。实现细节方面模型在PyTorch1.8.0上训练使用NVIDIA GTX 3090优化器为Adam初始学习率2×10^-4批量大小16训练300个 epoch。消融实验表明三层记忆优于两层和单层配置进一步结合contrastive learning后模型在ISTD上达到PSNR 33.44、SSIM 0.986、RMSE 6.03且PSNR相比基线提升1 point。5. 结论本文的主要贡献是把图像恢复从单纯依赖卷积或注意力推进到退化感知 结构记忆的统一框架。DA-CLIP负责识别退化类型part / instance / semantic三粒度记忆负责提供可复用结构先验这使模型在多种退化恢复任务上都具备较强适应性。从原稿给出的结果看方法在去雨滴和ISTD上的收益最明确至于GoPro和LOL-v2原稿未完整展示全部定量结果因此更适合将其理解为一个可统一处理多类退化的恢复框架而不是单任务极限刷分方法。6. 可借鉴的思想1将恢复流程拆成退化识别和内容重建两步先用DA-CLIP获取退化语义再让恢复主干针对性处理。2把记忆设计成part / instance / semantic三粒度而不是单一 memory更容易同时覆盖纹理、实例结构和全局语义。3把边缘约束、重建约束和对比学习一起加入训练目标能促使记忆库学习可复用结构而不是只记住退化噪声。4做多退化恢复时优先检查记忆层数、读取顺序和对比学习是否真的改变了特征传播路径这比单纯加深主干更有价值。
1. 论文信息与代码链接项目内容题名Memory Augment Is All You Need for Image Restoration作者Xiaofeng Zhang、Xuhang Chen、Chaochen Gu、Shanying Zhu、Kim-Fung Tsang、Xinping Guan年份2026出处IEEE Transactions on Consumer ElectronicsDOI10.1109/TCE.2026.3655769论文链接https://doi.org/10.1109/tce.2026.3655769代码链接https://github.com/zhangbaijin/MemoryNet2. 论文摘要这篇工作提出了面向多种图像退化恢复的MemoryNet。作者的核心思路是先用DA-CLIP感知输入图像的退化类型再通过带有三粒度记忆的恢复网络完成重建从而同时处理雨滴、阴影、模糊和低照度等不同退化。3. 方法介绍整体框架是“退化感知 记忆增强恢复”输入退化图像后先由DA-CLIP识别退化信息再送入MemoryNet进行细节重建。图 1MemoryNet框架图上图对应整体流程DA-CLIP负责退化感知主干恢复网络负责内容重建二者共同构成统一恢复框架。MemoryNet的核心是三层记忆增强分别对应part、instance和semantic三个粒度。记忆库以可学习原型矩阵的形式存在网络通过特征与原型之间的相似度检索匹配项再将检索到的原型聚合回特征图。三层记忆是逐级组织的高层记忆由低层记忆加权汇聚而来。作者还设计了记忆读取顺序先读取part级记忆再读取instance级记忆最后读取semantic级记忆使恢复过程从局部纹理逐步过渡到全局结构。记忆增强后的特征再与解码器浅层特征进行跳连融合提升细节重建能力。训练目标由多部分组成包括Charbonnier loss、edge loss和记忆重建约束Lrecon并结合对比学习进一步约束特征表示使记忆库学习到更稳定、可复用的结构原型。4. 实验设置和结果作者在ISTD、DeRainDrop、LOL-v2和GoPro上进行验证对应去阴影、去雨滴、低照度增强和去模糊任务。评价指标主要使用PSNR、SSIM去阴影任务还报告了RMSE。任务数据集指标结果去阴影ISTDPSNR / SSIM / RMSE原稿未给出完整表格数值文中称在部分阴影、非部分阴影和无阴影区域取得较强结果其中无阴影区域的RMSE达到新的最好表现。去雨滴DeRainDrop test-bPSNR / SSIMSSIM 0.84PSNR 25.38 dB其中SSIM为最高PSNR为第二高。去雨滴DeRainDrop test-aPSNR / SSIMSSIM 0.904PSNR 24.64 dB两项均为最好。去模糊GoProPSNR / SSIM原稿未给出完整数值作者表示结果具有竞争力但仍弱于DGUNet。低照度增强LOL-v2PSNR / SSIM原稿未给出完整数值对比结果主要通过可视化展示。图 2雨滴去除对比图上图展示了DeRainDrop的可视化对比作者用它说明记忆增强对雨滴结构的抑制更稳定恢复结果更接近真实图像。实现细节方面模型在PyTorch1.8.0上训练使用NVIDIA GTX 3090优化器为Adam初始学习率2×10^-4批量大小16训练300个 epoch。消融实验表明三层记忆优于两层和单层配置进一步结合contrastive learning后模型在ISTD上达到PSNR 33.44、SSIM 0.986、RMSE 6.03且PSNR相比基线提升1 point。5. 结论本文的主要贡献是把图像恢复从单纯依赖卷积或注意力推进到退化感知 结构记忆的统一框架。DA-CLIP负责识别退化类型part / instance / semantic三粒度记忆负责提供可复用结构先验这使模型在多种退化恢复任务上都具备较强适应性。从原稿给出的结果看方法在去雨滴和ISTD上的收益最明确至于GoPro和LOL-v2原稿未完整展示全部定量结果因此更适合将其理解为一个可统一处理多类退化的恢复框架而不是单任务极限刷分方法。6. 可借鉴的思想1将恢复流程拆成退化识别和内容重建两步先用DA-CLIP获取退化语义再让恢复主干针对性处理。2把记忆设计成part / instance / semantic三粒度而不是单一 memory更容易同时覆盖纹理、实例结构和全局语义。3把边缘约束、重建约束和对比学习一起加入训练目标能促使记忆库学习可复用结构而不是只记住退化噪声。4做多退化恢复时优先检查记忆层数、读取顺序和对比学习是否真的改变了特征传播路径这比单纯加深主干更有价值。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
