论文题目Attention Calibration for Disentangled Text-to-Image Personalization去纠缠的文本到图像个性化的注意力校准会议CVPR 2024摘要最近在大规模文本到图像(T2I)模型方面的激动人心的进展释放了前所未有的人工智能生成内容(AIGC)的合成质量包括图像生成、3D和视频合成。此外个性化技术能够在仅给出几个图像作为参考的情况下吸引人地定制制作新颖的概念。然而一个耐人寻味的问题仍然存在从一张参考图像中捕捉多个新概念是可能的吗在本文中我们发现现有的方法不能保持与参考图像的视觉一致性并且不能消除概念之间的交叉影响。为了缓解这一问题我们提出了一种注意力校准机制来提高对T2I模型的概念水平的理解。具体地说我们首先引入了与类绑定的新的可学习修饰符来捕获多个概念的属性。然后随着交叉注意操作的激活班级被分离和加强确保了全面和独立的概念。此外我们抑制了不同类别的注意激活以缓解概念之间的相互影响。总而言之我们提出的DisenDiff方法可以从一幅图像中学习解开纠缠的多个概念并根据学习的概念生成新颖的定制图像。我们证明我们的方法在定性和定量评估方面都优于目前的技术水平。更重要的是我们建议的技术与LORA和修复管道兼容实现了更多的交互体验。代码https://github.com/Monalissaa/DisenDiffDisenDiff用注意力校准从单张图像学会多个专属概念一、问题背景个性化生成的终极挑战1.1 什么是T2I个性化近年来Stable Diffusion等大规模文生图模型T2I已经能够根据文本生成高质量图像。在此基础上个性化技术进一步允许用户用少量参考图像教会模型一个新概念使模型能在新场景中自由发挥这个概念——比如把用户家里的猫画成梵高风格或者让用户朋友出现在时代广场。代表性方法包括Textual Inversion只更新新词的token嵌入通过视觉重建目标来学习概念DreamBooth更新整个模型来记住概念配合先验保留损失减少语言漂移Custom Diffusion只更新交叉注意力中的和矩阵及新token嵌入在保持预训练模型泛化能力的同时学习多概念这些方法通常需要3-5张参考图像且主要针对单一概念的学习。1.2 更难的问题单图、多概念现实中用户的照片往往同时包含多个值得个性化的对象。设想这样一个场景一张家庭合影用户希望模型同时学会照片中的男性面孔和女性面孔之后既能让两人同时出现在想象的场景中组合生成也能单独生成其中一人独立生成。这个需求听起来自然实现起来却困难重重。论文指出现有方法在单张图像 多概念的设定下面临两大核心挑战挑战一视觉一致性难以保持单张图像作为训练数据极为有限模型极易过拟合。更深层的问题是现有方法缺乏对优化过程的必要引导导致各token的交叉注意力图cross-attention map一片混乱——新的modifier token根本不知道自己该看图像的哪个区域。挑战二多概念之间的相互干扰当图像中同时存在椅子和台灯时如果只想生成台灯模型却同时把椅子也画了出来而且画出来的台灯颜色、纹理都与参考图不符。这就是**跨概念干扰cross-influence**问题——不同概念的注意力区域大量重叠导致属性绑定错误和概念相互纠缠。【论文 Figure 2Custom Diffusion的失败案例目标文本为Alamp生成结果中既包含颜色不匹配的灯又莫名出现了不应该在场的椅子第二列展示DisenDiff的正确结果】二、方法DisenDiff 的注意力校准机制论文提出的方法称为DisenDiffDisentangled Diffusion解耦扩散核心思路是通过对关键token的交叉注意力图施加精确约束引导模型建立起概念与图像区域之间准确、独立的对应关系。【论文 Figure 3DisenDiff方法总览图展示文本编码器、Diffusion U-Net、可训练/冻结参数的划分以及suppression、、三个组件的作用位置和各token注意力图的示意】2.1 基础设计类绑定Modifier为了在prompt层面区分多个概念DisenDiff为每个概念引入一个独立的可学习modifier并将其与类名配对使用。例如对于一张同时包含猫和狗的图像训练时的文本prompt格式为其中是猫的modifier是狗的modifier。这个设计的关键洞察在于预训练T2I模型的大多数参数是冻结的因此类名token如cat、dog已经具备了粗略定位概念语义边界的能力——它们的注意力图,能够大致对应到图像中各自的区域。相比之下新引入的modifier token没有任何预训练知识其注意力图,初始时完全混乱。如此问题就转化为如何利用类名token相对准确的注意力图来引导modifier token学会正确的注意力定位同时消除不同类之间的干扰这正是DisenDiff注意力校准机制的出发点。【论文 Figure 4训练阶段左和推理阶段右的注意力图对比第一行为Custom Diffusion的混乱注意力图及错误生成结果第二行为DisenDiff的精确注意力图及正确生成结果】2.2 核心约束一Modifier-Class 绑定损失目标让每个modifier的注意力图与对应类名的注意力图尽量重合从而将modifier的关注焦点锁定在正确的概念区域上。公式Eq. 3这是一个基于IoU交并比的损失——最小化该损失等价于最大化modifier注意力图与类名注意力图的重叠程度。训练时固定的梯度detach避免类名token受到过度影响。为什么要用高斯滤波直接使用原始注意力图存在两个问题Softmax归一化使得所有位置的注意力值之和为1不同token在同一位置相互竞争modifier很难做到与class完全逐像素对应Class token的注意力图内部激活值不均匀同一目标区域内有高有低这让modifier难以对整个目标形成完整、连贯的覆盖。对此作者引入高斯滤波对注意力图进行平滑处理生成更均匀连续的注意力分布。最终使用的绑定损失为这样modifier的注意力不再追求逐像素精确而是寻求对对应概念区域的整体连贯覆盖。2.3 核心约束二分离-增强策略问题来源即使class token的注意力图已经大致对应各自概念它们之间仍然存在重叠——cat的注意力图在狗的区域也有一定激活反之亦然。这种重叠会通过传导到modifier上导致概念纠缠。朴素方案的缺陷直接最小化不同class注意力图的重叠区域Eq. 4虽能减少干扰但会带来副作用——每个class的注意力覆盖区域会缩小导致该概念的身份信息丢失。DisenDiff的解决方案Eq. 5同样采用IoU形式但这里最小化的是分子重叠区域相对于分母总覆盖区域的比值。直觉理解这个损失同时惩罚重叠分子增大时损失增大和鼓励各自覆盖的完整性分母减小时损失也增大在分离和保全之间取得了精妙的平衡。这便是separate and strengthenss分离与增强名称的由来。2.4 抑制机制Suppression问题可能导致不同class的注意力分布失衡——一个class捕获了过多激活另一个只有极少激活。解决方案在计算之前先对注意力图施加逐元素平方操作由于注意力值在[0, 1]范围内平方操作会压低小值噪声激活、保留大值显著激活相当于一个自适应阈值过滤让注意力图的边界更加锐利清晰。2.5 完整训练损失将以上所有约束整合最终的训练损失为Eq. 6其中 S 是图像中的概念数量是Stable Diffusion的基础扩散损失Eq. 1。可训练参数的选择仅更新交叉注意力中的和矩阵以及新引入的token嵌入。这与Custom Diffusion的设计一致最大程度保留预训练模型的泛化能力。注意力校准约束仅施加于分辨率的注意力单元——这一尺度已被证明包含最丰富的语义信息。三、实验设置3.1 数据集与评估实验在10个数据集上进行每张图像包含两个不同概念涵盖人物、动物、家具、人与宠物/玩具等多种类别。推理阶段对每张图测试30个不同prompt10个组合概念prompt两个概念同时出现如 dog in a garden10个Concept₁prompt仅针对第一个概念10个Concept₂prompt仅针对第二个概念独立概念测试时图像对齐指标使用分割后只包含对应主体的图像作为参考以更严格地评估解耦效果。评估指标两者之间通常存在权衡关系图像对齐生成图与参考图在CLIP嵌入空间的余弦相似度衡量概念重建保真度文本对齐生成图与目标文本在CLIP空间的相似度衡量编辑有效性实现细节Stable Diffusion微调250步batch size8学习率从LAION-5B选取200张CLIP相似度超过0.85的正则化图像推理时50步DDIMguidance scale6每个prompt生成16张图。3.2 对比方法方法可训练参数特点Textual Inversion (TI)仅新token嵌入最轻量泛化强但重建弱DreamBooth (DB)所有层 先验保留损失重建强但文本对齐弱Custom Diffusion (CD), 新token嵌入二者平衡但多概念解耦不足DisenDiffours, 新token嵌入 注意力校准最高图像对齐强文本对齐四、实验结果4.1 定量对比【论文 Figure 6(a)散点图形式的定量对比结果横轴为文本对齐、纵轴为图像对齐分别展示Mean、Combined、Concept₁、Concept₂四种设置下四种方法的位置分布DisenDiff绿色在图像对齐上全面领先】核心发现① 图像对齐全面最优DisenDiff在所有设置Combined/Concept₁/Concept₂/Mean下的图像对齐均达到最高。其中Concept₂的优势最为突出——Custom Diffusion在此项上存在明显性能缺口而DisenDiff将其有效填补直接说明了注意力解耦机制对于第二个概念保真度的关键作用。② 文本对齐保持竞争力虽然Textual Inversion拥有最高的文本对齐分数代价是图像对齐最低DisenDiff的文本对齐与Custom Diffusion处于相近水平兼顾了编辑灵活性和概念保真度。③ DreamBooth的困境DreamBooth虽然图像对齐优于TI但在两项指标上都显著落后于DisenDiff说明全参数更新策略虽然记住了概念外观却付出了过拟合和文本对齐下降的代价。4.2 定性对比【论文 Figure 5独立概念左和组合概念右的定性结果对比每行对应一个输入图和一个目标prompt覆盖场景变换、精细化控制、艺术风格、属性更改、配饰添加、概念解耦、交互等多种编辑类型对比Ours / Custom Diffusion / DreamBooth三种方法】从定性结果来看DisenDiff在以下几类编辑任务中均展现出明显优势场景变换toy in forest——DisenDiff能保留玩具的颜色、材质等细节第一行而DB的结果中玩具外观与参考图差异明显解耦生成Adog——DisenDiff能在不出现狗以外其他主体的情况下生成该狗最后一行而CD难以将两个概念完全分离语言漂移问题使用同一caption的正则化图像后DisenDiff能在生成特定猫的同时让狗呈现与参考图不同的品种第二行左证明了训练策略对语言漂移的有效抑制艺术风格迁移、属性更改、配饰添加DisenDiff生成结果与输入图像在视觉上保持了最高的相似性。4.3 消融实验【此处配图论文 Figure 6(b)消融实验的散点图结果横轴为文本对齐、纵轴为图像对齐分别展示Mean和Combined设置对比完整模型绿色与逐步去除各组件w/o、w/o、w/o suppression、w/o Gaussian filter、twice suppression、all attention layers、updating Q,K,V的性能变化】消融实验系统验证了每个设计组件的必要性去除/修改组件主要影响去除Concept₁和Concept₂图像对齐均显著下降去除Concept₁和Concept₂图像对齐均显著下降去除 suppressionConcept₂图像对齐显著受损Concept₁和Concept₂文本对齐同时下降去除 Gaussian filter组合概念图像对齐明显降低施加两次 suppression过度过滤重要信息图像对齐下降对所有尺度注意力层施加约束模型完全无法重建Concept₂同时更新文本对齐显著下降说明更多参数未必更好特别值得注意的是最后两项仅在尺度施加约束、仅更新和这两个看似保守的设计选择恰恰是维持预训练模型泛化能力、保证文本对齐的关键所在。五、扩展应用DisenDiff的框架具有良好的扩展性论文验证了以下三类应用场景5.1 个性化图像修复Inpainting【论文 Figure 7输入图像 输入Mask → 目标文本 → 修复结果展示将学到的概念无缝填充到masked区域】用户提供图像和maskDisenDiff能将学到的概念自然地填充到mask区域同时保持其余部分不变。操作简单直观——修改文本prompt即可控制修复内容。5.2 与LoRA集成【论文 Figure 8dog is playing with a butterfly, add details对比无LoRA和有LoRA的生成结果后者纹理细节更丰富】DisenDiff与LoRA在参数上完全正交两者可以直接组合使用。加入LoRA后模型能够进一步提升纹理细节的表现质量同时受益于社区丰富的LoRA资源。5.3 扩展至三概念【论文 Figure 9从包含mother/father/child三人的家庭照中学习三个概念分别生成mother with the sky、pencil sketch of father、child wearing a top hat等独立概念图像】将对三个class token两两施加即可扩展到三概念场景实现对每个家庭成员的独立个性化生成。六、局限性与展望论文坦诚地指出了两点局限局限一细粒度同类别解耦困难当两个概念来自同一类别如金毛猎犬和边境牧羊犬同时出现在一张图中解耦效果会明显下降。这是因为同类别的class token在语义空间上本就相近注意力图的自然分离程度有限。局限二三概念性能退化虽然方法在原理上可扩展到三概念但实际性能会有较明显下降。这部分源于现有T2I模型在多对象生成场景下本身的局限也提示了算法层面仍有改进空间。这两点局限也自然指向了未来的研究方向如何在语义相近的概念之间建立更细粒度的解耦机制以及如何设计可以优雅扩展到更多概念的框架。七、总结DisenDiff从一个具体而现实的痛点出发——单张图像中的多概念个性化——提出了一套精巧的注意力校准方案。三个核心组件各司其职负责定位让modifier找到自己的概念负责解耦让不同概念的注意力互不干扰suppression负责锐化让注意力边界更清晰。三者协同配合在无需额外训练数据、保持轻量微调仅更新,和token嵌入的前提下实现了在图像对齐上全面超越已有SOTA的效果。更重要的是这套框架具有良好的实用性对LoRA和Inpainting管线的天然兼容、对三概念场景的扩展能力都让它具备了向更复杂真实应用落地的潜力。
论文题目Attention Calibration for Disentangled Text-to-Image Personalization去纠缠的文本到图像个性化的注意力校准会议CVPR 2024摘要最近在大规模文本到图像(T2I)模型方面的激动人心的进展释放了前所未有的人工智能生成内容(AIGC)的合成质量包括图像生成、3D和视频合成。此外个性化技术能够在仅给出几个图像作为参考的情况下吸引人地定制制作新颖的概念。然而一个耐人寻味的问题仍然存在从一张参考图像中捕捉多个新概念是可能的吗在本文中我们发现现有的方法不能保持与参考图像的视觉一致性并且不能消除概念之间的交叉影响。为了缓解这一问题我们提出了一种注意力校准机制来提高对T2I模型的概念水平的理解。具体地说我们首先引入了与类绑定的新的可学习修饰符来捕获多个概念的属性。然后随着交叉注意操作的激活班级被分离和加强确保了全面和独立的概念。此外我们抑制了不同类别的注意激活以缓解概念之间的相互影响。总而言之我们提出的DisenDiff方法可以从一幅图像中学习解开纠缠的多个概念并根据学习的概念生成新颖的定制图像。我们证明我们的方法在定性和定量评估方面都优于目前的技术水平。更重要的是我们建议的技术与LORA和修复管道兼容实现了更多的交互体验。代码https://github.com/Monalissaa/DisenDiffDisenDiff用注意力校准从单张图像学会多个专属概念一、问题背景个性化生成的终极挑战1.1 什么是T2I个性化近年来Stable Diffusion等大规模文生图模型T2I已经能够根据文本生成高质量图像。在此基础上个性化技术进一步允许用户用少量参考图像教会模型一个新概念使模型能在新场景中自由发挥这个概念——比如把用户家里的猫画成梵高风格或者让用户朋友出现在时代广场。代表性方法包括Textual Inversion只更新新词的token嵌入通过视觉重建目标来学习概念DreamBooth更新整个模型来记住概念配合先验保留损失减少语言漂移Custom Diffusion只更新交叉注意力中的和矩阵及新token嵌入在保持预训练模型泛化能力的同时学习多概念这些方法通常需要3-5张参考图像且主要针对单一概念的学习。1.2 更难的问题单图、多概念现实中用户的照片往往同时包含多个值得个性化的对象。设想这样一个场景一张家庭合影用户希望模型同时学会照片中的男性面孔和女性面孔之后既能让两人同时出现在想象的场景中组合生成也能单独生成其中一人独立生成。这个需求听起来自然实现起来却困难重重。论文指出现有方法在单张图像 多概念的设定下面临两大核心挑战挑战一视觉一致性难以保持单张图像作为训练数据极为有限模型极易过拟合。更深层的问题是现有方法缺乏对优化过程的必要引导导致各token的交叉注意力图cross-attention map一片混乱——新的modifier token根本不知道自己该看图像的哪个区域。挑战二多概念之间的相互干扰当图像中同时存在椅子和台灯时如果只想生成台灯模型却同时把椅子也画了出来而且画出来的台灯颜色、纹理都与参考图不符。这就是**跨概念干扰cross-influence**问题——不同概念的注意力区域大量重叠导致属性绑定错误和概念相互纠缠。【论文 Figure 2Custom Diffusion的失败案例目标文本为Alamp生成结果中既包含颜色不匹配的灯又莫名出现了不应该在场的椅子第二列展示DisenDiff的正确结果】二、方法DisenDiff 的注意力校准机制论文提出的方法称为DisenDiffDisentangled Diffusion解耦扩散核心思路是通过对关键token的交叉注意力图施加精确约束引导模型建立起概念与图像区域之间准确、独立的对应关系。【论文 Figure 3DisenDiff方法总览图展示文本编码器、Diffusion U-Net、可训练/冻结参数的划分以及suppression、、三个组件的作用位置和各token注意力图的示意】2.1 基础设计类绑定Modifier为了在prompt层面区分多个概念DisenDiff为每个概念引入一个独立的可学习modifier并将其与类名配对使用。例如对于一张同时包含猫和狗的图像训练时的文本prompt格式为其中是猫的modifier是狗的modifier。这个设计的关键洞察在于预训练T2I模型的大多数参数是冻结的因此类名token如cat、dog已经具备了粗略定位概念语义边界的能力——它们的注意力图,能够大致对应到图像中各自的区域。相比之下新引入的modifier token没有任何预训练知识其注意力图,初始时完全混乱。如此问题就转化为如何利用类名token相对准确的注意力图来引导modifier token学会正确的注意力定位同时消除不同类之间的干扰这正是DisenDiff注意力校准机制的出发点。【论文 Figure 4训练阶段左和推理阶段右的注意力图对比第一行为Custom Diffusion的混乱注意力图及错误生成结果第二行为DisenDiff的精确注意力图及正确生成结果】2.2 核心约束一Modifier-Class 绑定损失目标让每个modifier的注意力图与对应类名的注意力图尽量重合从而将modifier的关注焦点锁定在正确的概念区域上。公式Eq. 3这是一个基于IoU交并比的损失——最小化该损失等价于最大化modifier注意力图与类名注意力图的重叠程度。训练时固定的梯度detach避免类名token受到过度影响。为什么要用高斯滤波直接使用原始注意力图存在两个问题Softmax归一化使得所有位置的注意力值之和为1不同token在同一位置相互竞争modifier很难做到与class完全逐像素对应Class token的注意力图内部激活值不均匀同一目标区域内有高有低这让modifier难以对整个目标形成完整、连贯的覆盖。对此作者引入高斯滤波对注意力图进行平滑处理生成更均匀连续的注意力分布。最终使用的绑定损失为这样modifier的注意力不再追求逐像素精确而是寻求对对应概念区域的整体连贯覆盖。2.3 核心约束二分离-增强策略问题来源即使class token的注意力图已经大致对应各自概念它们之间仍然存在重叠——cat的注意力图在狗的区域也有一定激活反之亦然。这种重叠会通过传导到modifier上导致概念纠缠。朴素方案的缺陷直接最小化不同class注意力图的重叠区域Eq. 4虽能减少干扰但会带来副作用——每个class的注意力覆盖区域会缩小导致该概念的身份信息丢失。DisenDiff的解决方案Eq. 5同样采用IoU形式但这里最小化的是分子重叠区域相对于分母总覆盖区域的比值。直觉理解这个损失同时惩罚重叠分子增大时损失增大和鼓励各自覆盖的完整性分母减小时损失也增大在分离和保全之间取得了精妙的平衡。这便是separate and strengthenss分离与增强名称的由来。2.4 抑制机制Suppression问题可能导致不同class的注意力分布失衡——一个class捕获了过多激活另一个只有极少激活。解决方案在计算之前先对注意力图施加逐元素平方操作由于注意力值在[0, 1]范围内平方操作会压低小值噪声激活、保留大值显著激活相当于一个自适应阈值过滤让注意力图的边界更加锐利清晰。2.5 完整训练损失将以上所有约束整合最终的训练损失为Eq. 6其中 S 是图像中的概念数量是Stable Diffusion的基础扩散损失Eq. 1。可训练参数的选择仅更新交叉注意力中的和矩阵以及新引入的token嵌入。这与Custom Diffusion的设计一致最大程度保留预训练模型的泛化能力。注意力校准约束仅施加于分辨率的注意力单元——这一尺度已被证明包含最丰富的语义信息。三、实验设置3.1 数据集与评估实验在10个数据集上进行每张图像包含两个不同概念涵盖人物、动物、家具、人与宠物/玩具等多种类别。推理阶段对每张图测试30个不同prompt10个组合概念prompt两个概念同时出现如 dog in a garden10个Concept₁prompt仅针对第一个概念10个Concept₂prompt仅针对第二个概念独立概念测试时图像对齐指标使用分割后只包含对应主体的图像作为参考以更严格地评估解耦效果。评估指标两者之间通常存在权衡关系图像对齐生成图与参考图在CLIP嵌入空间的余弦相似度衡量概念重建保真度文本对齐生成图与目标文本在CLIP空间的相似度衡量编辑有效性实现细节Stable Diffusion微调250步batch size8学习率从LAION-5B选取200张CLIP相似度超过0.85的正则化图像推理时50步DDIMguidance scale6每个prompt生成16张图。3.2 对比方法方法可训练参数特点Textual Inversion (TI)仅新token嵌入最轻量泛化强但重建弱DreamBooth (DB)所有层 先验保留损失重建强但文本对齐弱Custom Diffusion (CD), 新token嵌入二者平衡但多概念解耦不足DisenDiffours, 新token嵌入 注意力校准最高图像对齐强文本对齐四、实验结果4.1 定量对比【论文 Figure 6(a)散点图形式的定量对比结果横轴为文本对齐、纵轴为图像对齐分别展示Mean、Combined、Concept₁、Concept₂四种设置下四种方法的位置分布DisenDiff绿色在图像对齐上全面领先】核心发现① 图像对齐全面最优DisenDiff在所有设置Combined/Concept₁/Concept₂/Mean下的图像对齐均达到最高。其中Concept₂的优势最为突出——Custom Diffusion在此项上存在明显性能缺口而DisenDiff将其有效填补直接说明了注意力解耦机制对于第二个概念保真度的关键作用。② 文本对齐保持竞争力虽然Textual Inversion拥有最高的文本对齐分数代价是图像对齐最低DisenDiff的文本对齐与Custom Diffusion处于相近水平兼顾了编辑灵活性和概念保真度。③ DreamBooth的困境DreamBooth虽然图像对齐优于TI但在两项指标上都显著落后于DisenDiff说明全参数更新策略虽然记住了概念外观却付出了过拟合和文本对齐下降的代价。4.2 定性对比【论文 Figure 5独立概念左和组合概念右的定性结果对比每行对应一个输入图和一个目标prompt覆盖场景变换、精细化控制、艺术风格、属性更改、配饰添加、概念解耦、交互等多种编辑类型对比Ours / Custom Diffusion / DreamBooth三种方法】从定性结果来看DisenDiff在以下几类编辑任务中均展现出明显优势场景变换toy in forest——DisenDiff能保留玩具的颜色、材质等细节第一行而DB的结果中玩具外观与参考图差异明显解耦生成Adog——DisenDiff能在不出现狗以外其他主体的情况下生成该狗最后一行而CD难以将两个概念完全分离语言漂移问题使用同一caption的正则化图像后DisenDiff能在生成特定猫的同时让狗呈现与参考图不同的品种第二行左证明了训练策略对语言漂移的有效抑制艺术风格迁移、属性更改、配饰添加DisenDiff生成结果与输入图像在视觉上保持了最高的相似性。4.3 消融实验【此处配图论文 Figure 6(b)消融实验的散点图结果横轴为文本对齐、纵轴为图像对齐分别展示Mean和Combined设置对比完整模型绿色与逐步去除各组件w/o、w/o、w/o suppression、w/o Gaussian filter、twice suppression、all attention layers、updating Q,K,V的性能变化】消融实验系统验证了每个设计组件的必要性去除/修改组件主要影响去除Concept₁和Concept₂图像对齐均显著下降去除Concept₁和Concept₂图像对齐均显著下降去除 suppressionConcept₂图像对齐显著受损Concept₁和Concept₂文本对齐同时下降去除 Gaussian filter组合概念图像对齐明显降低施加两次 suppression过度过滤重要信息图像对齐下降对所有尺度注意力层施加约束模型完全无法重建Concept₂同时更新文本对齐显著下降说明更多参数未必更好特别值得注意的是最后两项仅在尺度施加约束、仅更新和这两个看似保守的设计选择恰恰是维持预训练模型泛化能力、保证文本对齐的关键所在。五、扩展应用DisenDiff的框架具有良好的扩展性论文验证了以下三类应用场景5.1 个性化图像修复Inpainting【论文 Figure 7输入图像 输入Mask → 目标文本 → 修复结果展示将学到的概念无缝填充到masked区域】用户提供图像和maskDisenDiff能将学到的概念自然地填充到mask区域同时保持其余部分不变。操作简单直观——修改文本prompt即可控制修复内容。5.2 与LoRA集成【论文 Figure 8dog is playing with a butterfly, add details对比无LoRA和有LoRA的生成结果后者纹理细节更丰富】DisenDiff与LoRA在参数上完全正交两者可以直接组合使用。加入LoRA后模型能够进一步提升纹理细节的表现质量同时受益于社区丰富的LoRA资源。5.3 扩展至三概念【论文 Figure 9从包含mother/father/child三人的家庭照中学习三个概念分别生成mother with the sky、pencil sketch of father、child wearing a top hat等独立概念图像】将对三个class token两两施加即可扩展到三概念场景实现对每个家庭成员的独立个性化生成。六、局限性与展望论文坦诚地指出了两点局限局限一细粒度同类别解耦困难当两个概念来自同一类别如金毛猎犬和边境牧羊犬同时出现在一张图中解耦效果会明显下降。这是因为同类别的class token在语义空间上本就相近注意力图的自然分离程度有限。局限二三概念性能退化虽然方法在原理上可扩展到三概念但实际性能会有较明显下降。这部分源于现有T2I模型在多对象生成场景下本身的局限也提示了算法层面仍有改进空间。这两点局限也自然指向了未来的研究方向如何在语义相近的概念之间建立更细粒度的解耦机制以及如何设计可以优雅扩展到更多概念的框架。七、总结DisenDiff从一个具体而现实的痛点出发——单张图像中的多概念个性化——提出了一套精巧的注意力校准方案。三个核心组件各司其职负责定位让modifier找到自己的概念负责解耦让不同概念的注意力互不干扰suppression负责锐化让注意力边界更清晰。三者协同配合在无需额外训练数据、保持轻量微调仅更新,和token嵌入的前提下实现了在图像对齐上全面超越已有SOTA的效果。更重要的是这套框架具有良好的实用性对LoRA和Inpainting管线的天然兼容、对三概念场景的扩展能力都让它具备了向更复杂真实应用落地的潜力。
