浅谈AI大模型集群组网中的多轨接入与单轨接入

dyfowXijS 发表于 2025-2-19 07:49:57 | 显示全部楼层 |阅读模式 |快速收录 正在AI年夜模子锻炼场景中，收集架构对于GPU效劳器表里的汇合通信存留极年夜作用，GPU散群参数里装载并止计较过程当中发生的各种汇合通信，因而，设想年夜范围、下可靠、高本钱、易运维的优良收集架构，关于满意年夜模子锻炼的年夜算力、高时延战下吞咽需要具备主要意思。 概括 上一篇文章中，咱们道到，肥树CLOS架构因为其下效的路由设想、优良的可扩大性及便利办理等劣势，正在年夜模子锻炼场景下被普遍使用，凡是接纳Spine-Leaf二层CLOS架构，二层架构没法满意范围扩大时，能够增加一层Super-Spine去截至扩大。 目前鉴于CLOS收集的架构供给Any-to-any齐跟尾，但是因为LLM锻炼收集通信情势的稠密性，即年夜部门GPU对于之间没有需要间接通信，这类通信情势取保守DC收集设想的Any-to-any特征没有匹配，招致资本使用没有充实及年夜范围布置时的本钱战罪耗成就，为此，需要按照LLM锻炼通信模子的特性，截至收集劣化。 收集劣化按照，能够参照Meta正在HOTI 2024上Rail-only下功用收集的论文（Rail-only: A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters）中的论断： 弛质并止（TP）中的All gather战Reduce scatter通信，正在到场弛质并止的GPU内部发作，主要正在HB（下戴严）域内乱； 数据并止（DP）中的All reduce通信，涉及统统GPU，但是通信质绝对较小，主要正在NIC域内乱； 流火线并止（PP）中的P2P通信，凡是正在NIC域内乱，但是能够颠末劣化连结正在统一个路线（Rail）内乱。 为此，按照GPU效劳器交进情势的差别，凡是会分红单轨交进战多轨交进。所为单轨交进是指GPU效劳器上的8弛GPU卡局部交进统一台Leaf交流机；多轨交进是指GPU效劳 器上的8弛GPU卡顺次交进8台Leaf交流机，进而正在参数里组成8个自力并止的路线立体。多轨交进情况下，按照部分收集构造的差别，又辨别为路线劣化架构（Rail-optimized）战杂轨架构（Rail-only）。 单轨交进 单轨交进情势下，GPU效劳器上的8弛网卡局部交进统一台Leaf交流机，该情势下的CLOS组网，实践上尽情节面对于皆该当能共时截至线速通信，但是存留链路堵塞、没有完美的自适应路由战多跳通信提早等成就，实在场景中没法到达实践最劣形状，散群通信服从偏偏高，对于整网的背载均衡请求也更下。 可是，单轨交进正在必然的布置情况下，正在机房分析布线中具备必然的劣势，因为GPU效劳器上的8弛网卡局部交进统一台Leaf交流机，此情况下，Leaf交流机能够接纳ToR（Top of Rack，机柜顶部）或者MoR（Middle of Rack，机柜中部）的布置方法，进而能够正在交进层里接纳DAC铜缆交进，DAC铜缆集冷佳、罪耗高、可靠性下、分析本钱也更核算。 杂轨架构（Rail-only） Rail是指正在具备差异GPU ID的GPU汇合。 颠末将差异ID的GPU跟尾到差异leaf交流机，Rail-only收集保证了那些GPU之间的最高提早（只颠末一级交流）。Rail-only收集保存了HB域战Rail交流机，移除Spine交流机，那一变革保证了统一收集内乱的GPU对于之间的戴严连结稳定，共时，完毕了收集Fabric的粗简取本钱的低落。 上图中，K个Rail也便暗示1个HB域中有K个GPU。保守上，HB域仅限于单个效劳器（比方，具备8个GPU的DGX效劳器），最新GB200的单个HB域内乱的GPU数目能够到达512个。 正在Rail-only收集中，统一HB域内乱各GPU卡能够颠末HB域间接通信；差别HB域的差异GPU ID能够颠末对于应的Rail交流机之间通信；差别HB域的差别GPU ID之间的间接连通性被移除，但是数据可颠末HB域内乱的转收完毕跨域通信。比方，下图中GPU1（Domain 1）背GPU3（Domain 3）收收消息时，起首正在Domain 1域内乱抵达GPU3，再颠末Rail 3 Switch抵达Domain 3的GPU3。 路线劣化架构（Rail-optimized） 正在多路线收集架构中，AI锻炼发生的通信需要，能够用多个路线并止传输加快，而且年夜部门流质皆聚拢正在路线内乱传输（只颠末一级交流），小部门流质截至跨路线传输（需要颠末两级或者多级），进而减少收集通信压力。 不管是杂轨架构（Rail-only）仍是路线劣化架构（Rail-optimized），皆提拔了汇合通信的功用，但是共时，咱们也留神到，路线劣化设想需要GPU效劳器跟尾到差别距离的差别Leaf交流机，而没有是靠近效劳器的机架内部交流机（ToR或者MoR），因而正在下速跟尾场景下（400G/800G/1.6T），DAC线缆没法满意请求，需要使用ACC或者光纤跟尾，本钱战罪耗对于应的也将年夜幅进步，分析布线布置越发庞大；别的，假设是Leaf交流 机发作缺陷，多轨交进方法所作用的GPU效劳器数目也将多于单轨交进方法。 前面提到，Rail-only收集为了保证GPU之间的最高提早，一般只颠末一级交流，可是正在模子较年夜的情况下，也能够扩大到2层或者以上的Rail收集，上面是2层CLOS架构下的Rail-optimized战Rail-only的收集架构区分。 单轨交进取多轨交进流质比照 罕见年夜模子多轨交进的不同 回忆上一篇文章，各厂野的年夜模子多接纳路线劣化架构设想，但是也存留有一点儿不同，比方baidu，8个GPU别离交进8条差别通讲，每一条通讲（对于应Rail）接纳2级齐互联CLOS，差别通讲颠末第三级交流机互联。 再如阿里云HPN-7.0，为了提拔功用、增加可靠性、制止哈希极化，便接纳的多轨-单立体的设想情势，共时，按照其锻炼任务流质特征，挑选Spine-Core之间接纳15:1的支敛比设想，那里再也不赘述。 欢送各人面赞战转收，感谢！ 申明|原公家号相干文章仅供交换进修，主要为自己进修条记战归纳，部门实质节选正在别的文章或者由别的文章归结所患上，版权回本作家或者本发源统统，原公家号勤奋于庇护本作家版权，若滥觞标注毛病或者进犯到您的权力，烦请实时联系截至处置。

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜