阿里巴巴让AI图像生成模型"自我进化"

2026年6月25日，阿里阿里巴巴集团旗下Qwen团队在预印本平台arXiv发布了最新技术报告（编号：arXiv:2606.27608v1），巴巴归属于计算机视觉（cs.CV）领域。像生型自该报告详细阐述了Qwen-Image-2.0-RL的成模突破，旨在解决AI图像生成中长期存在的进化“语义对齐”与“视觉美感”难以兼得的痛点。

核心突破：填补“技术正确”与“人类审美”的阿里鸿沟

当前AI绘图工具虽能生成精美图像，但仍常出现手指数量错误、巴巴面部畸变或内容偏离描述等问题。像生型自其根源在于传统扩散模型（Diffusion Models）的成模训练目标仅是数学上的“去噪”，而非人类主观的进化“好看”或“准确”。

Qwen-Image-2.0-RL并未从零训练新模型，阿里而是巴巴在Qwen-Image-2.0基础上，引入人类反馈强化学习（RLHF）与在线策略蒸馏（Online Policy Distillation,像生型自 OPD）技术，使模型能够内化“人类认可的成模好图”标准。

关键性能指标跃升

• Qwen-Image-Bench基准测试：总分从 55.23提升至 57.84（+2.61分）。进化
• Elo竞技场评分（文生图）：从 1115升至 1193（+78分）。
• Elo竞技场评分（图像编辑）：从 1256飞升至 1349（+93分）。

这些提升直接反映了真实用户在匿名对比中，更倾向于选择Qwen-Image-2.0-RL生成的图像。

一、 为什么AI需要“人类反馈”？

1. 传统扩散模型的局限

传统模型通过“去噪分数匹配”学习，即从噪点还原图像。虽然能生成视觉上合理的图片，但无法量化“好不好看”或“对不对题”。例如，一张图可能在数学上完美去噪，但存在颜色怪异、比例失真或违背文字指令的问题。

2. 从RLHF到图像生成的迁移挑战

大语言模型（LLM）已通过RLHF成功优化，但图像生成面临更复杂的挑战：
* 多维质量评估：需同时优化语义对齐、视觉美感、人像自然度等多个维度。
* 奖励模型冲突：多奖励模型同时工作易产生干扰。
* 训练稳定性：需在大规模参数训练中保持收敛稳定。

二、 评分体系：构建多维度的“人类审美标尺”

Qwen团队设计了分层递进的奖励模型（Reward Models），针对文生图和图像编辑两大任务进行精细化评估。

1. 文生图任务的三级奖励体系

2. 图像编辑任务的专项奖励

• 指令执行奖励：分解指令为“核心要求”与“辅助要求”，评估修改准确性及整体视觉连贯性。
• 人脸身份一致性奖励：针对人像编辑，引入基于人脸嵌入向量比对的模型，精确衡量编辑前后身份特征的保真度，解决视觉语言模型在此类任务上的不可靠问题。

3. 方法论创新：绝对评分 vs. 两两对比

团队对比了两种打分方式，发现绝对评分（Absolute Scoring）显著优于两两对比（Pairwise Comparison）：
* 两两对比：仅告知“A比B好”，缺乏程度信息。
* 绝对评分：提供1-5分的独立标尺，传达具体的质量等级。

结论：绝对评分提供了更丰富的监督信号，使奖励模型对图像质量的感知更精准，生成的图片细节更丰富、伪影更少。

4. 底层架构：思维链推理（CoT）

奖励模型基于Qwen视觉语言模型微调，并引入思维链推理能力。模型在打分时先分析各维度，再综合给出分数，提升了评估的可解释性与准确性。

三、 训练框架：GRPO算法与混合CFG策略

1. 核心算法：GRPO（群体相对策略优化）

借鉴DeepSeekMath的成功经验，团队将GRPO引入图像生成：
* 机制：针对同一提示词生成一批图像（如8张），通过奖励模型打分，计算平均分与方差。
* 优化：高于平均水平的图像被“鼓励”，低于平均水平的被抑制，使模型从自身的“成功”与“失败”中学习。

2. 关键挑战：CFG（无分类器引导）的处理

CFG是提升图像风格鲜明度的关键技术，但在强化学习中极易导致训练崩溃。团队测试了三种方案，最终确立“混合CFG策略”为最优解：
* 生成阶段（Rollout）：使用CFG，确保候选图像质量高，为奖励模型提供可靠信号。
* 训练阶段（Policy Optimization）：不使用CFG，避免同时优化“有条件”和“无条件”分支导致的梯度不稳定，降低计算开销。

3. 多奖励整合与时间步采样

• 组内归一化：对不同奖励模型的分数进行归一化处理（减去均值除以标准差），防止某一维度因数值较大而主导训练。
• 时间步采样优化：仅在靠近“纯噪声”端的高噪声时间步施加训练信号。这些步骤决定图像整体布局与语义，且不易被模型“钻空子”走捷径。

4. 工程优化：异步奖励管道

为解决奖励模型API调用延迟问题，团队设计了异步奖励管道：
* 模型生成图像后，后台异步提交给奖励API。
* GPU同时继续下一批推理，隐藏等待时间，大幅提升训练吞吐量。

四、 在线策略蒸馏（OPD）：合并“专科医生”为“全科医生”

强化学习后，团队拥有两个专精模型：文生图教师模型与图像编辑教师模型。直接混合训练会导致任务间目标竞争，产生“平庸”结果。

OPD解决方案

借鉴LLM知识蒸馏思想，提出在线策略蒸馏（OPD）：
1. 学生模型初始化：从基础预训练模型开始。
2. 轨迹学习：学生模型自行生成图像轨迹，记录每一步状态。
3. 教师引导：针对学生轨迹上的每个状态，询问对应任务的教师模型“最佳速度方向”，并让学生预测向教师靠拢。

OPD的核心优势

• 分布一致性：学生在“自己跑出的路径”上学习，避免了训练状态与推理状态的分布错位。
• 数学保证：最小化学生与教师输出分布间的Wasserstein-2距离上界。
• 动态切换：根据任务类型动态激活对应教师模型，卸载另一模型至CPU，节省显存并避免任务竞争。

实验对比：OPD在细节锐利度、提示词遵从度及人脸保真度上，全面超越了混合强化学习（Mix-RL）基线。

五、 测试结果：全面超越主流竞品

1. 自动化基准测试（Qwen-Image-Bench）

由专业评判模型Q-Judger（基于13万+人工标注数据训练）评估：
* 总分：57.84（较基线提升2.61分）。
* 显著进步：创意生成（+6.72分）、真实世界保真度（+4.29分）。
* 稳定提升：质量、美感、对齐维度均有温和增长。

2. 人类偏好评分（Elo）

• 文生图：Elo从1115升至1193。其中3D建模（+93）和写实摄影（+91）提升显著，反映结构一致性与细节渲染能力的增强。
• 图像编辑：Elo从1256升至1349。在8个子类别（产品、3D、卡通、写实、艺术、人像、文字排版、编辑）中全面超越，无一退步。

3. 横向对比

Qwen-Image-2.0-RL在同类系统中处于中上游水平，超越Imagen 4.0 Ultra、GPT Image 1、FLUX 2系列、Seedream 4.0等，但仍落后于GPT Image 2（64.69）及Nano Banana系列。

总结与展望

Qwen-Image-2.0-RL的研究本质上是构建了一套系统化的“AI厨师食客反馈机制”。通过精细的奖励设计、稳定的训练框架（GRPO+混合CFG）以及创新的蒸馏策略（OPD），模型学会了从反馈中真正进化，而非走捷径。

对用户的影响：
* 更精准的指令遵循：如“戴眼镜的老人”不会被画成年轻人。
* 更自然的人像：皮肤质感更佳，手指数量正确率提升。
* 更可靠的编辑：修改发色后，人脸身份依然可识别。

这些细微但关键的改进，代表了AI图像生成从“可用”向“好用”迈进的重要一步。

Q&A

Q1：Qwen-Image-2.0-RL的在线策略蒸馏（OPD）和直接混合任务强化学习训练有什么区别？
A：混合训练让一个模型同时优化文生图和编辑任务，目标竞争导致模型“两边不讨好”。OPD则先训练两个专精教师模型，学生模型在自身生成轨迹上向对应教师学习，完全避免任务竞争，效果全面优于混合训练。

Q2：训练图像生成模型时为什么不能在生成和训练两个阶段都使用CFG？
A：CFG是风格放大器。若训练和生成均使用CFG，需同时优化“有条件”和“无条件”分支，导致梯度混乱、训练崩溃。若完全不用CFG，模型将丧失风格表达能力。因此采用折中方案：生成时用CFG保质量，训练时不用CFG保稳定。

Q3：Qwen-Image-2.0-RL的奖励模型为什么要用绝对评分而不是两两对比打分？
A：两两对比仅知“A>B”，不知“A好多少”；绝对评分提供具体分数标尺。研究发现，绝对评分提供更丰富的监督信号，使奖励模型判断更精准，最终生成的图片质量更高、细节更丰富、伪影更少。

(责任编辑：时尚)