职贝云数AI新零售门户

标题: 国产AI算力标杆,华为+DeepSeek跑出中国速度! [打印本页]

作者: 2TWRsXY3o 时间: 2025-5-28 23:41
标题: 国产AI算力标杆,华为+DeepSeek跑出中国速度!
国产芯片在超大规模混合专家模型（MoE）部署范畴获得新打破。最新测试数据显示，基于华为昇腾芯片的推理功能已超越英伟达Hopper架构，完成了完全自主的技术方案。

这一停顿标志着国产AI芯片在高端计算范畴的技术实力。详细而言，共包含两个产品：

之所以可以这般，是由于华为昇腾所采取的“以数学补物理”——这种经过数学实际、工具、算法和建模等方式，来补偿硬件和工艺的局限性，完成最大化发挥芯片和系统才能效果。

华为昇腾还不只是“官宣”一下而已，后面更会是片面开源。

不只曾经将昇腾在超大规模MoE模型推理部署的技术报告分享了出来，在一个月工夫内，还会把完成这些核心技术的相关代码也都会陆续开源出来。

那么接上去，我们就来深化了解一下华为昇腾背后的技术实力。

(, 下载次数: 0)
在华为昇腾上推理DeepSeek

在深挖华为昇腾背后技术创新之前，我们且需了解一下为什么要这么做。

从2017年Google提出的Transformer架构，到2025年DeepSeek V3/R1的爆红，大言语模型的重心正在从训练开发转向推理运用落地。

推理才能不只是大模型才能的“试金石”，各大企业已从 “拼模型参数” 转向 “拼推理效率”：

谁能让大模型在实践运用中跑得更快、更稳、更省资源，谁就能在商业化浪潮中抢占先机。

但是，以6710亿参数的DeepSeek V3为例，这类超大规模MoE模型虽然弱小，却给硬件带来三大 “成长烦恼”：

1.内存压力山大
一个模型包含257个专家，每个专家 “体重” 2.5G，普通64GB内存的AI硬件根本 “扛不动”，必须依赖集群协作。
2.通讯开支爆炸
专家分布在不同芯片上，数据传输耗时甚至超过计算工夫，就像团队成员频繁闭会沟通，效率大打折扣。
3.架构创新的 “甘美负担”
例如 “多头隐式留意力机制（MLA）” 虽然紧缩了数据空间，却导致中间变量激增，对芯片的计算才能提出更高要求。
面对这些应战，华为团队从算子、模型和框架三方面动手，基于昇腾硬件特性，开发了一整套面向集群的大规模专家并行处理方案。

在硬件部署上，华为团队根据不同硬件配置——CloudMatrix 384超节点和Atlas 800I A2推理服务器，针对性地采取了不同的部署优化策略。为解耦Prefill和Decode阶段的时延约束，昇腾采用PD分离部署方式。

(, 下载次数: 0)

在框架侧，昇腾基于vLLM框架，适配DP和EP等多种并行策略，经过Prefill调度分桶、灵衢互联与分层传输等技术来降低调度开支，优化央求下发、调度策略等环节，提升系统功能。

在模型方面，昇腾采用A8W8C16量化策略，其中A8W8运用INT8，C16运用BF16，并针对不同机型停止差异化部署。

(, 下载次数: 0)

(, 下载次数: 0)

针对CloudMatrix 384超节点，其弱小的组网才能大幅降低了通讯耗时，释放了昇腾芯片的算力。

团队采用大规模EP并行部署，Prefill运用16卡，Decode运用144卡，其中128卡部署路由专家，16卡部署共享专家，MLA部分采用DP部署。

虽然存在时延约束、带宽抢占、调度开支、负载不均等要素影响，最终在50ms时延下，单卡decode吞吐达到1920 Token/s。

(, 下载次数: 0)

针对机群规模较小但部署愈加灵敏的Atlas 800I A2服务器，华为团队采用多节点互联的方式停止部署。

作为示例，华为团队运用2机16卡停止Prefill，4机32卡停止Decode，每卡部署8个路由专家和1个共享专家，MLA部分采用DP并行，并针对性地运用在真实负载下功能更优的AllGather/ReduceScatter的通讯方案。

经过各种策略优化，在100ms时延下，单卡吞吐达到808 Tokens/s。

(, 下载次数: 0)
还有更多优化技术

在推理框架优化方面，针对高并发场景下单点API Server这一功能瓶颈，华为团队设计了API Server横向扩展方案，采用程度扩展技术提升框架的央求呼应才能，分明降低用户央求延迟并提高全体服务吞吐量（QPS）。

针对MoE模型中的负载不均成绩，基于动态调整专家部署与减少通讯域、热专家冗余部署、实时调度与动态监控机制等核心技术，降低显存占用的同时完成动态负载平衡。

在投机推理技术的工程化运用中，如何将其从小批量低时延场景扩展至高吞吐量场景，是行业面临的共性难题。

华为团队基于昇腾芯片高计算带宽比的硬件特性，提出FusionSpec投机推理引擎，针对性优化多Token预测（MTP）场景下的推理功能：

在通讯优化方面，华为昇腾也有三大妙招。

首先，针对主流张量并行（TP）方案中AllReduce通讯的固有缺陷（通讯次数多、数据量大、冗余计算分明），华为团队推出FlashComm通讯方案，经过集合通讯逻辑重构与算子地位编排，完成低比特、低维度数据通讯，在降低通讯时延的同时消弭冗余计算，最终完成25%通讯量的降低和10%推理功能的提升。

其次，在FlashComm基础上，团队进一步提出层内并行转换方案，针对Prefill阶段的MLA层，经过张量并行（TP）与数据并行（DP）的灵敏转换，消弭节点内卡间求和操作，并应用网络低维特性与量化技术紧缩通讯数据量，分明降低跨卡通讯时延，为大模型分布式推理提供更高效的通讯支撑。

第三，通讯方面的优化还有一个并发机制的深度发掘，包括：

最后，就是在算子方面的优化了。华为团队经过以数学补物理，发展了一系列的优化技术。

针对MLA算子中间变量收缩与计算量激增的应战，团队展开硬件亲和性优化：

MoE算子方面的优化则包括：

(, 下载次数: 0)
功能创新高

在Decode功能测试方面，Atlas 800I A2所采用的方式是：

详细表现如下所示：

(, 下载次数: 0)

在Prefill上的测试方法是，单batch输入序列长度为2K/1K，经过拼batch的方式拼成一共16K序列。对于序列长度是2K，共8 batch拼成一共16K序列的场景，端到端耗时为631ms，卡均吞吐为1622 Tokens/s。

详细表现如下图所示：

(, 下载次数: 0)

在2025年4月，硅基活动结合华为云基于CloudMatrix 384超节点昇腾云服务和高功能推理框架SiliconLLM，用大规模专家并行最佳实际正式上线DeepSeek-R1。

该服务在保证单用户20 TPS(等效50ms时延约束) 程度前提下，单卡Decode吞吐打破1920 Tokens/s，可比肩H100部署功能。

(, 下载次数: 0)

而也正如我们刚才提到的，昇腾在超大规模MoE模型推理部署的技术报告分享了出来了，想要更深化了解的小伙伴，可以在文末链接中自取哦（或点击文末【阅读原文】）~
One More Thing

就在本周，华为昇腾还将举行一个技术披露周！

大家可以关注https://gitcode.com/ascend-tribe/ascend-inference-cluster/中每天的上新。

详细概况放下面喽，小伙伴们可以蹲一波了~

残缺技术报告：
https://gitcode.com/ascend-tribe/ascend-inference-cluster/blob/main/Overview/%E5%8D%8E%E4%B8%BA%E6%98%87%E8%85%BE%E6%9C%8D%E5%8A%A1%E5%99%A8_DeepSeek_V3_R1_%E6%8E%A8%E7%90%86%E9%83%A8%E7%BD%B2%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.pdf

技术博客：
https://gitcode.com/ascend-tribe/ascend-inference-cluster/blob/main/Overview/ascend-inference-cluster-overview.md

*以上内容不构成投资建议，不代表登载平台之观点，市场有风险，投资需慎重，请独立判别和决策。

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)