英伟达发布Audex音频-文本统一模型：30B总参数

IT之家 7 月 8 日消息，英伟音频英伟达于今年 6 月发表论文，文本正式推出 Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大语言模型。统模该模型总参数量为 30B，总参激活参数量为 3B。英伟音频在保持核心文本智能能力的文本前提下，Audex 具备理解与生成音频（audio）及语音（speech）的统模能力。

该模型以文本模型 Nemotron-Cascade-2-30B-A3B为骨干网络。总参该骨干网络采用 52 层混合 Mamba-Transformer 架构，英伟音频包含 128 个可路由专家（Mixture of Experts），文本每次推理激活 6 个专家。统模

Audex 的总参设计核心旨在解决多模态扩展过程中常见的文本能力衰退问题。论文指出，英伟音频Audex 通过将音频输入编码并映射至文本嵌入空间，文本同时将量化后的统模音频输出标记与文本标记进行统一处理，实现了模态间的无缝融合。

在音频编码组件上，Audex 采用 AF-Whisper音频编码器处理 16kHz 输入信号，并通过两层 MLP 适配器进行特征映射。其输出词表规模从原始的 131,072 个 Token 大幅扩展至 205,312 个 Tokens。

针对输出端，模型采用不同的编解码策略：
* 语音输出：使用 X-Codec2语音编解码器，生成速率为每秒 50 个标记。采用单层有限标量量化（Finite Scalar Quantization），码本大小为 65,536。
* 非语音音频：使用 X-Codec音频编解码器，生成速率为每秒 200 个标记，采用 4 层展平残差向量量化技术。

在文本能力评测方面，Audex 表现优异：
* MMLU-Redux：得分 86.4，略高于骨干模型的 86.3；
* IMO AnswerBench：得分 81.1，高于骨干模型的 79.3；
* MMLU-Pro与 GPQA-Diamond：出现小幅下降。

IT之家附上参考地址

(责任编辑：热点)