云天励飞IFWA软件栈完成腾讯混元Hy3关键链路适配验证

近日，云天元腾讯混元团队正式开源新一代大语言模型 Hy3。励飞路适针对该模型独特的软件架构特征，云天励飞基于自主研发的栈完证 IFWA 软件栈，在 DeepVerse 云端芯片验证平台上，成腾成功完成了 Hy3 模型结构的讯混接入及关键推理链路的功能验证。

本次验证基于 BF16 精度及缩小配置开展，键链核心覆盖以下关键环节：
* 模型配置解析与加载
* Dense 与 MoE 混合层执行
* 专家路由机制
* GQA（分组查询注意力）解码
* KV Cache 分配管理
* Token 采样
* MTP（Multi-Token Prediction）投机解码

在普通推理与开启 MTP 投机解码两种模式下，配验系统均实现了从模型加载到 Token 输出的云天元端到端全流程贯通。这初步证实了 IFWA 推理框架、励飞路适底层软件组件及芯片架构对 Hy3 主要架构特征具备优秀的软件兼容能力。

此次验证的栈完证价值不仅在于跑通一款先进开源模型的关键链路，更在于验证了 IFWA 既有软件组件在新模型适配中的成腾高复用性。通过将 MoE 路由、讯混GQA 注意力、键链MTP 投机解码、KV Cache 管理等共性能力沉淀为标准化软件组件，IFWA 正持续提升对先进模型架构变化的响应速度，为后续缩短适配周期、降低重复开发成本、提升自研芯片交付效率奠定坚实基础。

IFWA 支持 Hy3 适配技术点

大模型快速演进，软件栈决定算力落地效率

当前，大模型架构正处于快速迭代期。混合专家（MoE）、长上下文窗口、分组查询注意力（GQA）、投机解码（Speculative Decoding）等技术已成为主流模型标配，这对推理系统的软件栈提出了更高要求。

腾讯混元 Hy3 的核心特征包括：
* 架构：采用混合专家架构
* 规模：总参数 295B，单次推理激活参数 21B
* 上下文：支持 256K 长上下文
* 技术：集成 GQA 注意力与 MTP 投机解码

这些特性对软件栈的模型解析、算子执行效率、专家调度策略、缓存管理及框架兼容性均提出了严峻挑战。

对于算力芯片企业而言，让模型“跑起来”仅是第一步。关键在于软件栈能否适应模型架构的持续演变，能否将不同模型中的共性能力封装为稳定组件，从而在后续模型接入时大幅减少重复工作。只有软件能力紧跟硬件迭代，算力才能真正高效转化为业务价值。

不为单个模型重做后端，复用既有软件基础设施

在 Hy3 的接入过程中，云天励飞采取了“复用优先”策略，未为该模型重建独立后端，也未针对单一模型重新开发全新核心算子。研发团队主要复用了 IFWA 在以往先进模型适配中积累的通用组件，并在此基础上完成了必要的模型路由适配与 GQA 解码路径完善。

• MoE 路由、GQA 注意力、MTP 投机解码等核心能力均源自 IFWA 既有软件基础设施。
• 以 GQA 解码路径为例，此次完善不仅服务于 Hy3，其通用性设计使其可被其他采用类似注意力架构的模型直接复用。

这是 IFWA 软件栈建设的重要战略方向：每接入一款代表性模型，即沉淀可复用部分，减少同类模型接入时的重复开发。随着基础能力的不断完善，模型适配模式正从“逐个模型定制开发”向“平台化标准化适配”转型。

从单模型接入走向平台化适配

IFWA是云天励飞面向自研芯片体系构建的统一软件栈平台，涵盖编译器、Runtime 与 Driver、基础算子库、推理框架插件、集合通信及开发调试工具等核心模块。

在大模型快速迭代的背景下，云天励飞致力于避免“每款新模型一套新方案”的低效模式，转而通过通用组件、标准接口和自动化验证体系，构建能够快速承接先进模型的软件产品能力。

此次 Hy3 适配中，IFWA 已有的 MoE、GQA、MTP、KV Cache 等能力得到充分复用，模型专属改动范围得到有效控制。这表明 IFWA 的通用能力已在新模型接入中发挥实质作用，为支持更多先进模型积累了宝贵经验。

对客户而言，软件栈的价值不仅在于“模型可用”，更在于：
* 模型迁移的顺畅度
* 部署验证的高效性
* 既有代码与开发投入的延续性

统一且稳定的软件能力，能显著降低客户的重复适配工作，减少后续迁移与维护成本。

持续推进真实规格、真实权重与多卡场景验证

目前，Hy3 已在 DeepVerse 云端芯片验证平台上完成模型结构接入与关键功能链路验证。后续，云天励飞将重点推进以下测试：
1. 真实规格与权重测试：验证真实注意力维度及模型权重加载的精度一致性。
2. 多卡部署场景：推进张量并行、专家并行等多卡部署测试，验证完整工程场景下的支持能力。
3. 回归体系纳入：将 Hy3 相关测试用例纳入 IFWA 常规回归体系，持续提升软件版本迭代的稳定性与一致性。
4. FP8 量化评估：针对 Hy3 的 FP8 量化版本，结合 IFWA 混合精度与量化能力建设进展，开展技术可行性评估。

构建端边云一体、跨代兼容的统一软件基座

云天励飞正以主流计算生态兼容能力为基础，持续建设端边云一体、跨代兼容的统一软件产品基座，推动模型、代码、算子和开发工具在不同芯片代际及云侧、边缘侧平台间的复用。

面向自研芯片体系，IFWA 将持续支撑 DeepVerse 系列产品交付及重点场景验证，并推动软件能力向后续芯片代际及 DeepEdge系列产品延展。通过统一的软件栈能力，云天励飞旨在进一步降低跨代迁移和多平台适配成本，减少云侧与边缘侧的重复开发，提升模型开发、系统交付及后续运维的一致性。

未来，云天励飞将持续完善 IFWA 软件栈，将模型适配过程中的共性能力转化为可复用的软件资产，加速自研芯片进入客户业务场景的步伐。

责任编辑：韩璐(EN053)

(责任编辑：时尚)