ICML26 重磅成果！清华 UDS 智能筛选训练样本，大模型微调算力直接减半

原文作者：公众号“AI典型场景产品”
原文链接：https://mp.weixin.qq.com/s/zf6OJe5pM8JYkzywwlgyVQ
转载来源：雷峰网

近日，重磅S智直接国际顶级机器学习会议 ICML 2026公布了多项核心论文成果。成果清华大学自动化系团队提出的清华全新在线样本筛选框架 UDS，彻底颠覆了大模型监督微调（SFT）中“全量数据投喂”的选训传统范式，为算力瓶颈下的练样 AI 训练提供了轻量化解决方案。

UDS 框架无需遍历全部训练数据集，模型而是微调依托模型前向传播生成的原生 logits信息，同步评估样本的算力价值与多样性。该机制能自动过滤重复及低质量样本，减半在保持模型精度不降的重磅S智直接前提下，大幅压缩训练算力消耗。成果实测数据显示，清华该技术可实现 算力成本近乎腰斩，选训同时显著提升训练吞吐量，练样直击当前 AI 行业算力高企、模型资源紧张的痛点。相关研究成果已由量子位等行业媒体深度报道。

行业痛点：打破“数据规模即正义”的固有认知

长期以来，业界普遍存在一种误解，认为 SFT 阶段的数据规模越大，模型效果越好。然而，2026 年的产业调研数据揭示了一个严峻现实：国内大模型训练的整体算力有效利用率不足 50%。大量 GPU 算力被消耗在重复、低信息量且存在偏见的冗余样本上。

全量样本训练不仅推高了 GPU 采购与云租赁成本，还极易引发模型过拟合及认知偏见放大。特别是在金融、医疗、工业等垂直领域，企业面对数十万条标注数据时，往往面临极高的时间与资金门槛。算力浪费已成为制约中小 AI 企业模型迭代的核心瓶颈。

尽管行业已意识到智能选样价值，并推出了 MaxLoss、MaxGrad、GREATS 等在线批次选择方案，但这些技术均存在难以调和的短板：
1. 单一维度评估：多数方法仅衡量训练难度（如高 Loss 样本），忽略样本间及样本内部的信息多样性，导致批次同质化，反而叠加偏差。
2. 额外开销巨大：部分方案需引入验证集、外部参考模型或多次反向传播计算梯度，其额外开销甚至超过全量训练，难以工业化落地。

行业亟需一种兼顾效率、精度与轻量化的统一筛选框架。

技术核心：UDS 框架的创新机制

清华团队提出的 UDS 框架跳出传统评估思路，其核心创新在于复用前向传播生成的 logits 矩阵，在零额外计算开销下完成双重维度打分：

• 样本效用评分：利用 logits 矩阵的核范数计算样本内部重要性分数，量化单条文本的信息丰富度与训练增益。
• 样本多样性评分：通过低维投影压缩样本特征，借助缓存缓冲区计算当前样本与历史训练数据的距离，确保批次内样本的差异化。

两套分数加权融合后筛选出最优样本。整套流程不依赖外部数据集与第三方模型，完美适配 LoRA 微调、全参微调及长上下文推理等全场景。

工程优化：低维投影与 FIFO 缓存

针对海量 logits 矩阵存储占用显存过高的工程难题，UDS 采用了随机投影算法压缩特征维度。若直接存储原始 logits 向量，千级样本即可占用数十 GB 显存，严重限制集群并发规模。UDS 在几乎不损失样本距离判断精度的前提下，将内存开销控制在极低水平，结合 FIFO 内存缓存设计，解决了大规模训练中的存储瓶颈。

实验验证：精度与速度的双向提升

消融实验证实，UDS 的两大核心模块（效用与多样性）不可分割。单独使用任一模块仅能小幅提升精度，二者结合后模型综合能力实现跨越式增长。

研究团队选用 Llama-3.1-8B和 通义千问 Qwen-2.5-7B两大主流开源基座，在 MMLU（通用知识）、ScienceQA（科学问答）、GSM8K（数学推理）、HumanEval（代码生成）四大权威基准上进行了多轮对照实验。

以 Qwen-2.5-7B 为例：
* 精度领先：采用 UDS 筛选样本训练后，MMLU 准确率达到 63.34%，较此前最优方案 GREATS 提升 5.15 个百分点。
* 全面领跑：在 ScienceQA、数学推理及代码评测中均取得最佳成绩。
* 效率倍增：训练吞吐量显著高于全量 SFT 模式，相同硬件条件下单位时间可处理更多有效样本，实现精度与速度的双赢。

泛化能力：适配多种工况与基线对比

UDS 具备极强的泛化能力，不受训练参数规模、上下文长度及微调模式限制。实验验证了其在以下工况下的稳定性：
* 不同批次大小（8/16）
* LoRA 低秩微调 vs 全参数微调
* 2048 超长文本推理
* 分布外（OOD）泛化测试

在所有测试条件下，UDS 均稳定优于全量训练、随机采样及传统 Loss 筛选等基线方案。此外，对比离线样本筛选算法 FisherSFT，在同等样本选取比例下，UDS 在四大基准指标上全面领先，证明了在线动态筛选比事前离线过滤更贴合实时训练的真实需求。

产业意义：开启“精准选样”的精细化时代

站在产业发展视角，UDS 的落地恰逢 AI 行业从“比拼硬件规模”向“追求单位算力效能”转型的关键节点。IDC 预测，未来推理与微调算力需求将持续暴涨，HBM 存储与 GPU 硬件成本高位运行，中小企业难以承担全量训练开销。

清华 UDS 框架无需改造底层硬件，仅通过算法优化即可削减半数算力消耗，大幅降低了垂直行业定制模型的落地门槛，对开源大模型生态的商业化普及具有深远意义。

对于国内开源产业而言：
* 无缝集成：UDS 可直接接入通义千问、Llama 系列等主流基座的现有训练流水线，无需重构数据处理架构。
* 降低门槛：政务、制造、金融等垂直服务商无需囤积大规模高端算力集群，依靠少量 GPU 即可完成高质量微调，缩短产品迭代周期。
* 激发创新：为算力有限的科研团队与初创 AI 公司提供低成本试错机会，推动细分场景专用小模型快速落地，激活国内 AI 长尾创新活力。

综上所述，清华 UDS 在 ICML 2026 展示的样本筛选方案，标志着大模型监督微调正式告别“数据堆砌”的粗放阶段。这套依托原生 logits、兼顾效用与多样性、极低开销的在线筛选框架，既解决了全量训练算力浪费与过拟合痛点，又适配各类工业场景。随着技术逐步开源落地，大模型训练将迈入“精准选样本、高效练模型”的精细化时代，加速人工智能技术在千行百业的低成本规模化落地。

来源：量子位
版权声明：如有侵权请联系删除

市场合作

• 联系人：尚嘉俊
• 联系电话：13709577554

(责任编辑：焦点)