给图像生成模型一张人物参考图，它大概率能抓住身份特征。
再给一张背景图，它也许还能把人放进去。
但如果一次给它 5 张、6 张甚至 7 张不同类型的参考图：一个人物、一张背景、一种姿势、一种光照、一个风格，还要求它把这些信息组合成一张自然、统一、符合指令的新图呢？
问题就开始出现了。
模型可能记住了人物，却忘了姿势；套上了背景，却丢了风格；光照、构图、主体关系更容易互相"打架"。
这其实是当前图像生成走向专业应用时绕不开的问题。真实的设计工作很少只靠一句 prompt 或一张参考图完成。广告视觉、IP 形象延展、海报设计、视频关键帧生成，往往都需要同时参考人物、场景、姿态、风格、光影等多种视觉条件。
也就是说，图像生成模型不只要"看懂一张图"，还要学会在多张参考图之间做协调。
针对这一问题，研究团队提出了DyRef，一个面向复杂多参考图像生成的动态优化框架。该工作已被 ECCV 2026 接收，并被选中为 Oral Presentation。
论文提出的核心观察很直接：当前主流开源图像生成模型，在少量参考图场景下表现尚可；但随着参考图数量增加、参考类型组合变复杂，生成质量会明显下降。
△当参考图片的类型或数量一多时，开源模型往往难以根据指令保持所有对应参考源的内容一致性，性能会急剧下降。多参考图像生成，不只是"多看几张图"
多参考图像生成听起来像是把多张图片一起塞给模型。
但真正难的地方在于，每张参考图承担的角色并不一样。
有的图提供主体身份，比如"这个人是谁"；有的图提供背景，比如"场景在哪里"；有的图提供姿势，比如"人物怎么站"；有的图提供光照，比如"整体明暗关系如何"；还有的图提供风格，比如"画面应该像水彩、电影海报还是复古摄影"。
对人类设计师来说，这是很自然的工作流：从不同素材里抽取不同视觉要素，再组合成新的画面。
但对生成模型来说，这是一场"多约束协同考试"。
如果模型只是粗略地把所有参考图混在一起，很容易出现信息冲突：主体身份被风格覆盖，姿势对齐失败，背景和人物比例不协调，或者干脆只听 prompt、忽略部分参考图。
这也是 DyRef 想解决的问题：让开源图像生成模型在面对更复杂的参考图组合时，性能不至于随着条件变多而迅速下降。
△DyRef 的在复杂多参考任务上的表现先造一个更难的考场：OmniRef-Bench
团队首先发现，现有多参考图像生成 benchmark 还不够"难"。
很多评测只关注单主体、多主体，或者少量参考类型组合。它们能够测试模型是否能保留人物身份，却不一定能测试模型能否同时处理主体、背景、姿势、风格、光照等多种视觉约束。
于是，团队构建了 OmniRef-Bench。这个 benchmark 包含 395 个专家标注样本，覆盖 5 类参考图类型：主体、背景、风格、光照、姿势。每个样本包含 2 到 7 张参考图，并覆盖 10 种不同参考类型组合，最多同时出现 4 类参考信息。
△（a）OmniRef-Bench 的一部分测评样例展示。（b）OmniRef-Bench 的参考类型组合以及对应的参考图片数量分布
更重要的是，OmniRef-Bench 不是只依靠单一评估方式给生成结果打一个笼统分数。团队从客观量化指标和闭源模型打分两方面进行分析。
对于不同参考类型，它设计了更细粒度的评估维度。例如，主体要看身份一致性，背景要看场景匹配，风格要看视觉风格迁移，光照要看明暗关系，姿势要看动作是否对齐。
这让模型很难靠"画得好看"蒙混过关。
因为在复杂多参考任务里，画面好看只是第一步。更关键的是：该保留的参考信息有没有都保住。
DyRef：让模型别只会做"简单题"
为了解决这一问题，团队提出了 DyRef。
DyRef 的训练分为两步：
第一步，通过监督微调让模型先具备处理复杂多参考任务的基础能力。
第二步，引入强化学习，让模型进一步学会在复杂参考图组合中对齐不同视觉条件。
这里最关键的是，DyRef 并不是把所有训练样本一视同仁。
复杂多参考任务里，不同样本难度差异很大。两张参考图的简单编辑，和七张参考图的混合约束，显然不是同一类题。
因此，DyRef 设计了动态奖励优化机制：训练时更关注模型当前还做不好的复杂样本（DAR），同时把生成结果之间的优劣差距拉开（DRS），让模型更明确地知道哪些结果值得学习。
简单说，DyRef 想做的不是让模型"多看几张图"，而是让模型真正学会：哪些参考信息该保留，哪些视觉条件该组合，以及当多种条件冲突时该如何协调。
△DyRef 整体框架。仅 14K 数据微调，使得开源模型复杂多参考能力和 Nano Banana Pro 相当，并超越 Seedream4.5
在 OmniRef-Bench 上，DyRef 显著提升了开源模型表现。在 OmniRef-Bench 的 MLLM Evaluation 平均分上，Qwen-Image-Edit-2511 从 4.97 提升到 8.38，明显缩小了与 Nano Banana Pro 的差距，并超过 Seedream4.5 的 8.13。
尤其是在参考图数量更多、参考类型更复杂的任务中，DyRef 有效缓解了原始模型性能下降的问题。
同时，在其他多参考图片生成测评基准 MultiBanana 和 OmniContext 上，DyRef 相比于基线方法也同样取得提升。
△各方法在 OmniRef-Bench 上的结果
元股证券:ygzq.hk
△各方法在 OmniContext 上的结果
△各方法在 MultiBanana 上的结果多参考能力提升了，单图编辑也没有被牺牲
一个自然的问题是：模型专门练复杂多参考，会不会把原本的单图编辑能力练坏？
实验结果显示，DyRef 没有出现这个问题。
在单图编辑测评基准 ImgEdit 和 DreamBench++ 上，DyRef 训练后的模型同样取得了提升。
也就是说，DyRef 不仅增强了复杂多参考生成能力，也在一定程度上提升了模型对视觉条件和用户指令的整体理解能力。
△（a）DyRef 和现有方法在 OmniRef-Bench 上的表现（b）DyRef 和现有方法在单图编辑任务上的表现
论文标题：《Scaling Multi-Reference Image Generation with Dynamic Reward Optimization》
论文链接：https://arxiv.org/pdf/2606.26947
代码链接：https://github.com/Weistrass/DyRef
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。
� � 我们会 ( 尽量 ) 及时回复你 : )
老牌杠杆配资公司� � 点亮星标 � �
科技前沿进展每日见尾盘资金异动
元股证券证券投资提示：本文来自互联网，不代表本网站观点。
