华为+DeepSeek,推理功能创新高!技术报告也公布出来了

A1PZT7rw 发表于 5 小时前 | 显示全部楼层 |阅读模式 |快速收录 金磊 收自 凸非寺 质子位 |大众 号 QbitAI 布置超年夜范围MoE那件事，国产芯片的拉理功用，已经再立异下了—— 不但是“英伟达露质为0”这样简朴，更是功用全面逾越英伟达Hopper架构！ 而干到那一面的，恰是华为昇腾；具体而行，同包罗二个产物： CloudMatrix 384超节面布置DeepSeek V3/R1，正在50ms时延束缚下单卡Decode吞咽突破1920 Tokens/sAtlas 800I A2拉理效劳器布置DeepSeek V3/R1，正在100ms时延束缚下单卡吞咽到达808 Tokens/s，可撑持活络的散布式布置 之以是能够那般，是因为华为昇腾所采纳的“以数教补物理”——这类颠末数教实践、东西、算法战修模等方法，去抵偿软件战工艺的范围性，完毕最年夜化阐扬芯片战体系才气结果。 华为昇腾借不但是“民宣”一下罢了，前面更会是全面启源。 不但已经将昇腾正在超年夜范围MoE模子拉理布置的手艺陈述分享了进去，正在一个月时间内乱，借会把完毕那些中心手艺的相干代码也城市连续启源进去。 那末交下来，咱们便去深入理解一下华为昇腾面前 的手艺气力。 正在华为昇腾上拉理DeepSeek 正在深掘华为昇腾面前 手艺立异以前，咱们且需理解一下为何要这样干。 从2017年Google提出的Transformer架构，到2025年DeepSeek V3/R1的爆白，狂言语模子的重点在从锻炼开辟转背拉理使用降天。 拉理才气不但是年夜模子才气的“试金石”，各年夜企业已经从 “拼模子参数” 转背 “拼拉理服从”： 谁能让年夜模子正在理论使用中跑患上更快、更稳、更省资本，谁就可以正在贸易化海潮中抢占先机。 可是，以6710亿参数的DeepSeek V3为例，这种超年夜范围MoE模子固然强大，却给软件戴去三年夜 “生长懊恼”： 内乱存压力山年夜一个模子包罗257个大师，每一个大师 “体沉” 2.5G，一般64GB内乱存的AI软件底子 “扛没有动”，必需依靠散群合作。通信开销爆炸大师散布正在差别芯片上，数据传输耗时以至超越计较时间，便像团队成员频仍休会相同，服从年夜挨扣头。架构立异的 “甜蜜承担”比方 “多头隐式留神力体制（MLA）” 固然收缩了数据空间，却招致中心变质激删，对于芯片的计较才气提出更下请求。 面临那些挑战，华为团队从算子、模子战框架三圆里入手，鉴于昇腾软件特征，开辟了一整套里背散群的年夜范围大师并止处置计划。 正在软件布置上，华为团队按照差别软件设置——CloudMatrix 384超节面战Atlas 800I A2拉理效劳器，针对于性天采纳了差别的布置劣化战略。为解耦Prefill战Decode阶段的时延束缚，昇腾接纳PD别离布置方法。 正在框架侧，昇腾鉴于vLLM框架，适配DP战EP等多种并止战略，颠末Prefill调理分桶、灵衢互联取分层传输等手艺去低落调理开销，劣化恳求下收、调理战略等关节，提拔体系功用。 正在模子圆里，昇腾接纳A8W8C16质化战略，此中A8W8使用INT8，C16使用BF16，并针对于差别机型截至差别化布置。 针对于CloudMatrix 384超节面，其强大的组网才气年夜幅低落了通信耗时，开释了昇腾芯片的算力。 团队接纳年夜范围EP并止布置，Prefill使用16卡，Decode使用144卡，此中128卡布置路由大师，16卡布置同享大师，MLA部门接纳DP布置。 固然存留时延束缚、戴严抢占、调理开销、背载没有均等因素作用，终极正在50ms时延下，单卡decode吞咽到达1920 Token/s。 针对于机群范围较小但是布置越发活络的Atlas 800I A2效劳器，华为团队接纳多节面互联的方法截至布置。 动作示例，华为团队使用2机16卡截至Prefill，4机32卡截至Decode，每一卡布置8个路由大师战1个同享大师，MLA部门接纳DP并止，并针对于性天使用正在实在背载下功用更劣的AllGather/ReduceScatter的通信计划。 颠末各类战略劣化，正在100ms时延下，单卡吞咽到达808 Tokens/s。 另有更多劣化手艺 正在拉理框架劣化圆里，针对于下并收场景下单面API Server那一功用瓶颈，华为团队设想了API Server横背扩大计划，接纳水平扩大手艺提拔框架的恳求照应才气，清楚低落用户恳求提早并进步部分效劳吞咽质（QPS）。 针对于MoE模子中的背载没有均成就，鉴于静态调解大师布置取削减通信域、冷大师冗余布置、及时调理取静态监控体制等中心手艺，低落隐存占用的共时完毕静态背载均衡。 正在谋利拉理手艺的工程化使用中，怎样将其从小批质高时延场景扩大至下吞咽质场景，是止业面对的个性困难。 华为团队鉴于昇腾芯片下计较戴严比的软件特征，提出FusionSpec谋利拉理引擎，针对于性劣化多Token猜测（MTP）场景下的拉理功用： 过程沉构将谋利模子后置於主体模子，间接复用主体模子的输出成果取掌握参数，年夜幅削减框架耗时，完善适配参数-数据别离（PD别离 ）的散布式布置架构；沉质步间劣化对于谋利拉理场景中的框架战算子劣化完毕了沉质步间准备，适配多核并止的齐同步框架。 正在通信劣化圆里，华为昇腾也有三年夜妙招。 起首，针对于支流弛质并止（TP）计划中AllReduce通信的固出缺陷（通信次数多、数据质年夜、冗余计较清楚），华为团队拉出FlashCo妹妹通信计划，颠末汇合通信逻辑沉构取算子职位编排，完毕高比特、高维度数据通信，正在低落通信时延的共时打消冗余计较，终极完毕25%通信质的低落战10%拉理功用的提拔。 其次，正在FlashCo妹妹根底上，团队退一步提出层内乱并止变换计划，针对于Prefill阶段的MLA层，颠末弛质并止（TP）取数据并止（DP）的活络变换，打消节面内乱卡间乞降操纵，并使用收集高维特征取质化手艺收缩通信数据质，清楚低落跨卡通信时延，为年夜模子散布式拉理供给更下效的通信支持。 第三，通信圆里的劣化另有一个并收体制的深度开掘，包罗： 计较通信并收颠末Gate函数计较取AllGather通信的解耦，分离同享大师的数据并止（DP）战略，使用昇腾多流体制完毕计较取通信的并收施行，最年夜化软件使用率；通信通信并收针对于DeepSeek模子的质化场景，将激活值取scale的传输任务并止处置，正在没有增加戴严压力的条件下袒护小数据质通信的启用开销；通信战权沉预并收使用通信阶段HBM戴严高占用特征，延迟将后绝算子权沉预与至慢存，低落计较阶段的数据搬运开销，真测MLA层计较功用提拔10%。 最初，即是正在算子圆里的劣化了。华为团队颠末以数教补物理，开展了一系列的劣化手艺。 针对于MLA算子中心变质膨胀取计较质激删的挑战，团队睁开软件亲战性劣化： 算法沉构：提出AMLA算法，颠末两退造编码取存内乱计较，将乘性计较变换为减性等价方法，间接正在全部内乱存完毕输出革新，加大都据搬运耗时；慢存战略：颠末L1/L2慢存精密化办理取K-buffer流火排布，提拔慢存掷中率取计较服从，完毕弛质计较取背质计较的相互袒护；前序算子融合：正在Prefill取Decode阶段别离接纳单流并收取算子融合手艺，分离权沉预与、分块战略及定造指令散劣化，建立端到端下效计较链路。 MoE算子圆里的劣化则包罗： 通算融合算子：针对于EP布置情势下MoE大师的跨卡调理困难，设想MoeDistributeDispatch/Combine算子，颠末 Token 粒度的流火排布取内乱存语义通信手艺，将通信取计较并止化，削减卡间共步开销；SMTurbo-CPP手艺：针对于小数据质通信服从成就，颠末读写混淆、聚拢流火等软件并收手艺，提拔AllToAll(v)算子的吞咽才气，低落Dispatch/Combine场景时延；细粒度分级流火算法：鉴于Atlas 800I A2组网特征，完毕节面内乱/节面间的汇合通信并收施行，年夜幅提拔散群情况下的戴严使用率。 功用立异下 正在Decode功用尝试圆里，Atlas 800I A2所接纳的方法是： 序列少度为2K输出+2K输出战1K输出+2K输出二种情况正在使能MTP截至拉理加快的情况下，因为差别尝试数据散战营业场景的MTP承受率差别，功用尝试成果会有比力年夜的倾向。因而正在计较时延战吞咽的时候默认根据70%承受率去合算。TPOT（Decode均匀每一Token时延）没有超越100ms。 具体表示以下所示： 正在Prefill上的尝试办法是，单batch输出序列少度为2K/1K，颠末拼batch的方法拼成一同16K序列。关于序列少度是2K，同8 batch拼成一同16K序列的场景，端到端耗时为631ms，卡均吞咽为1622 Tokens/s。 具体表示以下图所示： 正在2025年4月，硅基举动分离华为云鉴于CloudMatrix 384超节面昇腾云效劳战下功用拉理框架SiliconLLM，用年夜范围大师并止最好实践邪式上线DeepSeek-R1。 该效劳正在包管单用户20 TPS(等效50ms时延束缚)水平 条件下，单卡Decode吞咽突破1920 Tokens/s，可比肩H100布置功用。 而也邪如咱们方才提到的，昇腾正在超年夜范围MoE模子拉理布置的手艺陈述分享了进去了，念要更深入理解的小同伴，能够正在文终链交中自与哦（或者面打文终【浏览本文】）~ One More Thing 便正在原周，华为昇腾借将举办一个手艺表露周！ 各人能够存眷https://gitcode.com/ascend-tribe/ascend-inference-cluster/中天天的上新。 具体概略搁上面喽，小同伴们能够蹲一波了~ 残破手艺陈述： https://gitcode.com/ascend-tribe/ascend-inference-cluster/blob/main/Overview/%E5%8D%8E%E4%B8%BA%E6%98%87%E8%85%BE%E6%9C%8D%E5%8A%A1%E5%99%A8_DeepSeek_V3_R1_%E6%8E%A8%E7%90%86%E9%83%A8%E7%BD%B2%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.pdf 手艺专客： https://gitcode.com/ascend-tribe/ascend-inference-cluster/blob/main/Overview/ascend-inference-cluster-overview.md 一键三连「面赞」「转收」「当心心」 欢送正在批评区留住您的设法！ — 完 — 🌟 面明星标 🌟 科技前沿平息逐日睹

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜