中国信通院牵头，首个智算运维智能体评测基准来了，覆盖5款主流国产芯片！

6月29日，中国在2026“众智”大模型开放智算生态协同高级别研讨会上，信通中国信通院副院长魏亮正式发布了AISHPerf人工智能软硬件基准体系3.0版本。院牵此次升级首次推出了两项针对AI基础设施（AI Infra）的头首核心评测基准：AISHPerf-智算运维智能体评测基准与AISHPerf-算子生成智能体评测基准。国内AI基础设施服务商无问芯穹及清华大学团队作为核心技术支持方，个智深度参与了该体系的算运构建。

体系背景与定位

AISHPerf（人工智能软硬件性能基准）由中国信通院联合“人工智能大模型及软硬件评测工业和信息化部重点实验室”，维智依托国家信创园内的评测片“人工智能软硬件协同创新与适配验证中心”共同构建。该体系旨在多维度评估端到端方案对模型及应用场景的基准真实承载能力，系统衡量软硬件各层级的覆盖协同优化与兼容适配水平。

3.0版本的款主关键突破在于将测评维度从基础性能拓展至智能体在运维和算子生成领域的工程实用性，填补了从算法研究到工程落地之间的流国评价空白。

两大核心基准详解

1. AISHPerf-算子生成智能体评测基准：聚焦工程可部署性

该基准突破了传统仅关注“模型能否生成可运行GPU算子”的产芯基础层面，将重心锚定在工程可部署性上。中国
* 核心考核点：生成的信通算子能否在真实量化推理部署中稳定替代现有算子。
* 价值意义：直接回应产业实际需求，弥补了从算法研究到工程落地的评价断层，确保生成结果具备实际生产价值。

2. AISHPerf-智算运维智能体评测基准：国内首个权威实战体系

作为本次发布最受关注的成果，该基准是国内首个面向智算集群运维智能体的权威评测体系，彻底改变了以往仅通过语言问答能力评估运维智能体的局限，构建了高度仿真的实战评测体系。

• 数据底座：基于无问芯穹实际运营中沉淀的近百亿条真实运维数据。
• 用例构建：经资深运维专家脱敏、精细标注和严格筛选，提炼出103条高保真、高质量的典型评测用例。
• 覆盖范围：
• 全链路打通：涵盖从底层硬件故障到上层软件缺陷。
• 多维指标：覆盖5大技术栈、44种问题现象、22个细分故障领域。
• 难度分级：设置3种难度层级。
• 芯片兼容：涉及6种国内外产品，其中5种为国产芯片，具体包括：天数、壁仞、沐曦、摩尔、昇腾。
• 评测机制：系统不提前告知故障根因，仅提供真实集群环境和有限的问题描述，要求智能体自主完成探索、排查与修复。最终输出时延、Token消耗、工具调用效率等量化指标，全面客观评估智能体端到端解决实际问题的能力。

突破难点：国产芯片集群运维标准化

率先将国产芯片集群运维场景纳入评测是该基准的显著特点。随着国产AI芯片规模落地，其硬件架构、驱动体系、通信协议等方面的差异导致运维复杂度显著高于成熟的通用GPU生态，直接制约算力利用率与投产效益。

AISHPerf-智算运维智能体评测基准通过标准化测评，覆盖硬件故障、驱动适配、框架兼容、通信协议等痛点，首次为国产智算运维智能体建立了可量化、可比较的统一评估标尺。

实践验证与成效

在实践层面，无问芯穹已在自有AI基础设施中部署运维智能体，实测数据显示：
* 工单处理时间缩短 50%；
* 关键故障处理效率提升约 6倍；
* 综合运维成本下降约 30%；
* 在算力和电力投入不变的情况下，显著提升了Token产出效率。

这些扎实的工程数据为基准的设计提供了有力支撑。

未来展望

中国信通院表示，未来将持续围绕标准研制、测试验证、生态培育推进基准体系的产业应用：
1. 丰富用例：联合无问芯穹等伙伴，基于海量运维数据进一步丰富国产芯片评测用例。
2. 精准攻关：定位国产芯片集群运维的共性痛点，牵引产业链上下游协同攻关。
3. 推动升级：以标准化评测推动运维智能化升级，助力国产算力从“能用”向“好用、高效、稳产”转变，为智算产业自主可控筑牢标准支撑。

AISHPerf-智算运维智能体评测基准与AISHPerf-算子生成智能体评测基准，从底层算力优化延伸至上层集群运维，共同为智算产业的标准化升级与高质量发展提供了统一的能力参照框架，推动基础设施向自主自治演进。

会议主办方：中国信通院人工智能软硬件协同创新与适配验证中心、中国人工智能产业发展联盟、工信部人工智能标准化技术委员会。

原标题：《中国信通院牵头，首个智算运维智能体评测基准来了，覆盖5款主流国产芯片！》

(责任编辑：娱乐)