香港科技大学联手华为研究院：AI绘图训练速度提升2.78倍

这项由香港科技大学与华为研究院联合开展的香港前沿研究，其预印本论文已于2026年6月25日发布，科技论文编号为 arXiv:2606.27192。大学度提感兴趣的联手练速研究人员可通过该编号获取完整技术细节。

你是华为I绘否好奇，当AI绘图软件精准执行“画出摆出特定姿势的研究院人”这类指令时，其内部机制是图训如何运作的？它如何既理解“姿势”这一抽象概念，又保证生成图像的升倍自然美感？这背后依赖于一套精密的“双网络协同”机制。本研究的香港核心贡献，正是科技通过优化这一机制，显著提升了AI的大学度提训练速度与生成质量。

一、联手练速痛点解析：被忽视的华为I绘“副网络”迷失

研究团队指出，当前主流AI图像生成方法存在一个长期被忽视的研究院瓶颈：负责解析“视觉条件”（如姿势图、深度图、图训分割图等参考输入）的子网络，在训练过程中缺乏明确的优化方向。

这就好比一名新员工入职，仅被告知“做好工作”，却未明确具体职责。这种模糊性导致副网络训练效率低下，需要消耗大量迭代步骤才能收敛。为此，研究团队提出了 LISA（Likelihood Score Alignment，似然分数对齐）训练框架，通过为副网络提供清晰的“职责说明书”，实现更快、更优的训练效果。

1.1 双网络范式：画家与助手

要理解LISA的价值，需先厘清现代AI图像生成（如Stable Diffusion）的“双分支”架构：

• 主网络（画家）：经过海量数据训练，具备强大的“无条件审美直觉”。它负责生成符合自然规律的图像基底。
• 副网络（助手）：负责解读用户提供的参考条件（如骨骼图），并将理解后的信息注入主网络。

ControlNet、T2I-Adapter等主流工具均基于此范式。然而，从概率论角度分析，条件生成可分解为两部分：
1. 无条件分数（Unconditional Score）：由主网络提供，代表基础审美判断。
2. 似然分数（Likelihood Score）：由副网络提供，代表基于条件的“修正信号”。

核心发现：副网络的真正使命是学习“条件修正”，而非重复主网络的工作。但传统训练方式让副网络在目标图像前“盲目摸索”，未明确引导其学习特定的修正信号，导致效率低下。

二、LISA机制：给助手一张清晰的“工作说明书”

LISA的核心创新在于显式构建副网络的学习目标。

2.1 修正信号的推导

传统做法是让助手观察最终画作自行揣摩；LISA则直接计算“助手应传递的修正信号”作为监督目标：

1. 无条件输出：利用已训练好的主网络，在不接受条件输入的情况下，对当前噪声图像进行评分。
2. 条件近似值：利用训练数据本身提供的“给定真实图像时的条件分数”。
3. 似然分数计算：
   $$ \text{近似似然分数} \approx \text{条件分数近似值} - \text{主网络无条件输出} $$

这一过程无需外部模型或额外标注，完全从现有信息中推导得出。

2.2 轻量级对齐损失

在训练阶段，LISA执行以下操作：
1. 从副网络中间层提取特征向量。
2. 通过一个极轻量级的解码器（参数量仅为副网络的0.1%），将特征投影至目标信号空间。
3. 计算投影特征与目标信号之间的距离，作为对齐损失（Alignment Loss）。

最终损失函数= 原始扩散损失 + $\lambda$ $\times$ 对齐损失。

关键优势：该解码器仅在训练阶段作为“教练”存在，推理阶段被完全丢弃，对最终用户零影响、零开销。

三、实验结果：训练速度提升2.78倍

研究团队在姿势控制、语义分割引导、深度图引导及超分辨率生成等任务上进行了系统测试，基础模型选用Stable Diffusion 2.1和SDXL-1.0，对比基线为ControlNet和T2I-Adapter。

3.1 姿势控制任务：早期训练优势显著

使用PCK（姿势关键点正确率）作为指标：
* ControlNet：训练1万步后，PCK仅为 19.38%。
* LISA + ControlNet：训练1万步后，PCK跃升至 83.02%。
* 对比：LISA仅用约 1/3的训练时间，即达到了ControlNet训练3万步（PCK 89.82%）的水平。

3.2 深度图引导任务：效率与质量双优

• LISA：仅训练4000步。
• ControlNet：训练1万步。
• 结果：LISA在FID（图像质量）、CLIP分数和RMSE（深度准确度）三项指标上均优于训练时间更长的ControlNet。即 40%的训练时间换取优于100%时间的效果。

3.3 T2I-Adapter的性能提升

LISA同样适用于T2I-Adapter：
* 姿势控制：PCK从84.85%提升至85.94%。
* 深度图任务：FID从66.31降至62.70，CLIP分数从29.59提升至29.77，RMSE从0.125降至0.121。

3.4 与REPA方法的对比

REPA依赖DINOv2等外部预训练模型提供对齐目标，而LISA完全内部自洽。结果显示，LISA性能与REPA旗鼓相当，甚至在部分指标上略优，且无需依赖任何外部模型。

四、意外收获：支持“搭积木”式组合条件生成

LISA通过明确对齐训练，使副网络的信号更加“纯粹”，从而支持多条件组合：

• 传统痛点：不同任务训练的助手信号相互干扰，直接相加效果差。
• LISA优势：信号解耦，可直接相加实现复合控制。

实验数据（姿势+分割图组合）：
* FID：从61.0降至55.9。
* PCK：从89.5%提升至90.4%。
* mIoU：从12.4%提升至14.7%。
* CLIP分数：从29提升至30.5。

相比之下，普通ControlNet在组合场景下表现明显逊色。

五、泛化能力：跨架构与视频生成

5.1 跨架构普适性

• Stable Diffusion 3 (DiT架构)：在分割图引导任务中，LISA在1000步时将mIoU从20.81%提升至22.64%，5000步时进一步改善FID、CLIP和mIoU。证明其不依赖特定网络结构（U-Net）或训练框架（VP-SDE）。

5.2 视频生成应用

基于Stable Video Diffusion和ControlVideo框架，在UBC Fashion数据集上进行姿势引导视频生成：
* 5000步训练：FVD从10.57降至7.85，PCK从30.22%跃升至57.00%。
* 3万步训练：在FVD、帧级SSIM、LPIPS和PCK四项指标上均优于基线ControlVideo。

六、超参数调节与计算开销

6.1 关键超参数建议

1. 对齐深度（层数选择）：
2. 最佳位置：第5层（PCK 89.90%）。
3. 原因：第2层特征未充分加工，第8层过度处理引入噪声，第5层为最佳折中点。
4. 损失权重 ($\lambda$)：
5. 最佳值：$\lambda=0.2$（PCK 89.90%）。
6. 建议：$\lambda=0.1$约束不足，$\lambda=0.5$约束过强导致性能下降。适度约束有助于平衡灵活性与方向性。

6.2 计算开销极低

• 参数量：ControlNet从364.2M增至364.6M，增幅仅 0.1%。
• 显存占用：无变化。
• 训练时间：每步从2.1秒增至2.3秒，增幅约 9.5%。
• 推理成本：零增加。

总结

LISA通过为AI图像生成的“副网络”提供明确的似然分数对齐目标，解决了长期存在的训练方向模糊问题。其核心优势在于：
1. 训练加速：显著减少收敛所需的迭代步数。
2. 性能提升：在多种任务上超越基线方法。
3. 零推理开销：额外组件仅在训练阶段使用。
4. 组合友好：支持多条件信号的解耦与叠加。

对于开发者和研究者而言，LISA是一种高性价比的改进方案；对于普通用户，这将带来更快发布、控制更精准的AI生成工具。未来，LISA有望扩展至更复杂的多模态条件生成场景。

Q&A

Q1：ControlNet和LISA有什么区别，LISA是新的图像生成模型吗？
A：LISA并非独立的图像生成模型，而是一种训练技巧（Training Strategy）。它可以无缝叠加在ControlNet、T2I-Adapter等现有方法之上。其作用是为负责视觉条件理解的副网络提供额外的学习目标，从而加速训练并提升效果。在推理阶段，LISA与原始ControlNet完全一致，不增加任何额外成本。

Q2：LISA中的“似然分数”是什么意思，为什么对齐它有用？
A：“似然分数”可理解为“在给定参考条件下，图像需要做出的具体修正信号”。研究证实，副网络的核心职责正是学习这一修正信号，但传统训练未明确引导其学习该目标。LISA通过计算“真实条件分数”与“主网络无条件输出”的差值，近似得到该信号，为副网络提供了明确的学习方向，避免了盲目摸索。

Q3：LISA需要额外的训练数据或者预训练好的外部模型吗？
A：不需要。LISA的对齐目标完全由系统内部自动计算，仅依赖主网络的无条件输出和训练数据本身的信息。它不依赖DINOv2等任何外部预训练模型，也无需采集或标注额外数据，具有极高的易用性和独立性。

(责任编辑：知识)