英伟达刷新DeepSeek V4推理纪录：单Token成本降至1/5

IT之家 7 月 1 日讯，英伟英伟达于 6 月 30 日发表技术博客，达刷单宣布在 Blackwell 架构平台上，推理通过全栈推理优化技术，纪录降至将 DeepSeek V4 模型的成本单 Token 推理成本大幅降低，较该模型上线初期下降最多达 80%（即降至原来的英伟五分之一）。

IT之家科普：单 Token 成本（Cost Per Token）是达刷单衡量大模型推理效率的关键指标，反映了生成或处理单个词元所需的推理费用。该指标常用于横向对比不同硬件架构、纪录降至软件栈及部署方案的成本经济性与性能表现。

英伟达在声明中强调，英伟已将“单 Token 成本”确立为评估 AI 总拥有成本（TCO）的达刷单核心维度。针对 DeepSeek V4 模型，推理Blackwell 平台凭借深度优化，纪录降至已将其推向行业最低水平。成本

三层架构优化策略

为实现这一突破，英伟达构建了从底层硬件到上层应用的三层优化体系：

1. 生产运营层：专注于分布式服务管理、任务编排、自动扩缩容机制以及高效的内存管理。
2. 应用加速层：聚焦于运行时性能调优，核心手段包括计算与通信重叠（Overlap）、内核融合（Kernel Fusion）等。
3. 基础设施访问层：负责高效调度与调用 GPU 算力、高速网络、内存资源及系统级能力。

性能飞跃：吞吐量提升 20 倍

在性能表现上，英伟达通过多项前沿技术的叠加效应，显著提升了 Blackwell 平台的单 GPU Token 吞吐量，最高增幅达 20 倍。关键优化技术包括：

• 分离式服务架构：解耦服务组件，提升资源利用率。
• 大规模专家并行（MoE）：高效处理稀疏激活的大模型参数。
• NVLink 并行通信：利用 NVIDIA NVLink 技术实现 GPU 间的高速数据交换。
• NVFP4 精度：采用第四代 NVIDIA 浮点 4 位精度，在保持精度的同时大幅降低计算开销。
• 多 Token 预测（MTP）：通过并行预测多个后续 Token，减少自回归生成的延迟。

(责任编辑：休闲)