职贝云数AI新零售门户

标题: DeepSeek致谢腾讯大模型网络提速技术方案贡献 [打印本页]

作者: BacQ 时间: 4 天前
标题: DeepSeek致谢腾讯大模型网络提速技术方案贡献
最近，DeepSeek工程师在GitHub上高亮了来自腾讯的代码贡献，并用“huge speedup”引见了这次功能提升。

[img=553.733,450.133]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjpvSk4BNE1hC8F5HgWQaPdc4X5ib5WIfn0eCVmhP5VRiaFA8Qen1dhNADQ/640?wx_fmt=png&from=appmsg[/img]

什么样的优化技术让顶尖AI团队如此兴奋？

简单来说，是腾讯多年来调教数据中心和GPU通讯沉淀上去的TRMT技术，协助DeepSeek开源的网络通讯神器DeepEP功能再上一个台阶。

[img=553.733,308.467]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjpuricRXWcO4TTFd38VOxtIQVoxLOMv4QZMcia1mMfib08fnoNq0yqF6Mow/640?wx_fmt=png&from=appmsg[/img]

这项合作的终点要追溯到往年2月——DeepSeek开源了包括DeepEP在内的五大代码库，揭秘了他们如何用1/5硬件资源完成传统万卡集群效能的核心技术。

其中，DeepEP作为打破NCCL功能瓶颈的通讯框架，经过300%的通讯效率提升，成功让众多MoE架构的大模型摆脱了对英伟达NCCL的依赖。

[img=553.733,250.661]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjp62m7x294BTHicGtaZ7kFsBdld6S5BH0fZDl4dl9UgHX70ToiaNt0Z7aA/640?wx_fmt=png&from=appmsg[/img]

但这项技术存在“富贵病”：在成本较高的InfiniBand（IB）公用网络中瓮中之鳖，却难以适配更普适的RoCE网络环境。就像超级跑车只能在专业赛道驰骋，开上普通公路就功能缩水，这让大多数运用普通网络的企业机构面对DeepEP往往看得着、用不上。

DeepEP的Github主页上，也出现了关于RoCE网络环境中功能表现不佳的讨论，相关成绩不断没有找到理想的解法。

[img=553.733,357.264]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjpqkjOmk0iaPph4BaKTMuNYcd1RCPZic2sSwfFTOR7iauJlJNwXKj9CxejQ/640?wx_fmt=png&from=appmsg[/img]

但腾讯在RoCE网络范畴可是老司机，多年来在数据中心沉淀了丰富的阅历，在DeepEP开源后立刻展开验证，迅速锁定两个关键打破点：

[img=553.733,278.863]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjpqQxMMggerolqNYa42frGDkIWGiaMA4R3mRAZ9ib8Sic02UjyIdwYx1pJA/640?wx_fmt=png&from=appmsg[/img]

于是，腾讯基于TRMT技术体系末尾对DeepEP停止三个方面的优化👇
//双车道充分用起来：拓扑感知的多QP建链

本质上是应用动态分配算法来最大化双端口网卡的带宽应用率。

在 AI 模型启动时，多个 GPU 之间会建立通讯组。每个 GPU 组内，GPU 之间都要建立通讯链接，并且每个 GPU 对需求建立多组 QP（队列对）。

这种架构触及革新相似于智慧交通管理系统：当2048辆特种车辆（GPU数据包）需求在城市路网（RoCE网络）中高效通行时，控制系统为每类物资运输开拓专属道路（QP绑定端口）。

经过动态分配起始匝道口（UDP源端口），确保双车道物理通道（网卡端口）的车流平衡，从根本上避免了多车队汇入同条车道引发的堵塞，让双端口网卡带宽应用率达到实际峰值。

//进一步绕过CPU：基于 IBGDA 的多 Channel 负载平衡数据传输

RDMA直连GPU停止数据交互就像港口运货，货物到港后不用停上去卸货卸车，可以直接运到郊区。

但在“控制面”场景还是无法让GPU绕过CPU的控制。“控制面”相似港口处理哪个批次的货物到港、货物是什么、运货的车牌号是多少等等，这种“控制面”场景的信息还是需求CPU来处理。

腾讯基于IBGDA（InfiniBand GPU Direct Accelerator）技术，让控制面场景的CPU也绕过了，控制时延降低至硬件极限。

[img=553.7333333333333,175.2]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjpg4dQ6gJY7Gic9exp8p3TZQiajia21NbVE50ibialoaAQsgP7tK7OGPgicw2Q/640?wx_fmt=png&from=appmsg[/img]

(看这清爽的右图，就知道IBGDR这种让控制面绕过CPU的方法提升了多少效率)

同时，腾讯还让每个 GPU 都能同时用多个“通道”来发送数据，而且这些通道会自动分配数据，不会让某个通道太忙而其他通道闲着。

//排好队不出错：原子化信令协同

在GPU直接通讯时还存在一个关键难题：当A GPU直接把数据写入B GPU内存时（相似隔空投送），B GPU并不知道数据何时到达。假如多个数据传输义务同时停止，能够会发“先发的包后到”的混乱状况。

鹅厂工程师提出了一种叫做“QP内时序锁”机制，相似一种智能快递签收机制：每次传输数据时，经过网卡硬件自动生成数字指纹（相似快递单号加密），收件方必须按正确顺序“签收”。

如今，就算同时处理1000多个数据传输义务，系统也能自动理顺先后顺序。

这三板斧上去，DeepEP不只在RoCE网络上完成功能翻倍，当DeepSeek将这套方案反哺到IB网络时，本来曾经很优秀的通讯效率居然又提升了30%。

[img=553.7333333333333,182.2]https://mmbiz.qpic.cn/sz_mmbiz_png/9SmqmVtF4je7UPiadETXCMTzIdwIq5bjptWv1MsxYzicfx4FbdS6kHtQzxrjkv0TVYUGcbfsOdILicec6UGvicKqicA/640?wx_fmt=png&from=appmsg[/img]

目前，这些技术成果都曾经片面开源至DeepEP社区，并深度运用于腾讯混元大模型等项目的训练推理。在星脉网络与H20服务器构建的高功能环境中，这套方案异样展现出杰出的通用性。

最后，感激DeepSeek工程师以及我的同事们，对GPU通讯瓶颈难题的探求。

还有，感激开源。

—END—

(, 下载次数: 0)

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)