职贝云数AI新零售门户

标题: DeepSeek新论文剧透V4新框架!用闲置网卡加速智能体推理功能,打破PD分离瓶颈 [打印本页]

作者: a6Olk 时间: 前天 06:57
标题: DeepSeek新论文剧透V4新框架!用闲置网卡加速智能体推理功能,打破PD分离瓶颈
henry 发自凹非寺
量子位 | 公众号 QbitAI

DeepSeek这小子最精了，当全世界都在盯着他的GitHub仓库，等待V4时——

他和北大、清华在ArXiv悄咪咪地上了一篇论文，发布了一个全新的针对智能体的推理框架：DualPath。

而且就跟前几天曝出的算力话题相关。

DualPath的核心在于处理Agent长文本推理场景下的I/O瓶颈，经过优化从外部存储加载KV-Cache的速度，确保计算资源不被存储读取拖累。

它改变了传统的存储至预填充引擎（Storage-to-Prefill）单途径加载形式，引入了存储至解码引擎（Storage-to-Decode）的第二条途径。

经过应用解码引擎闲置的存储网卡（SNIC）带宽读取缓存，并配合高速计算网络（RDMA）将其传输至预填充引擎，DualPath完成了集群存储带宽的全局池化与动态负载平衡。

在660B规模的消费级模型的实测中，DualPath表现惊人：

离线推理吞吐量提高了1.87倍，在线服务吞吐量平均提升1.96倍。

(, 下载次数: 2)

在高负载下，首字延迟（TTFT）大幅优化，而 Token间的生成速度（TPOT）几乎不受任何干扰。

接上去，我们一同来看。
双途径加载 (Dual-Path Loading)

总的来说，DualPath是一个专门为智能体系统设计的推理框架，它的核心洞见是——

KV-Cache的加载不必以预填充为中心。

在以往的了解中，谁担任计算谁就去搬数据。但DualPath以为，缓存可以先加载到解码引擎中，再经过高功能RDMA网络传输至预填充引擎。

经过在两条途径间动态选择，DualPath重新分配了网络负载，缓解了预填充侧的带宽压力。

那么，为什么要费这么大劲去“绕路”？

之所以这样做，是由于在当前的智能体运用中，对话轮数多且上下文长，KV-Cache命中率通常高达95%以上。

这意味着，每一轮对话都要搬运海量的“旧记忆”，推理功能的瓶颈曾经从“计算”转移到了“搬运”上。

(, 下载次数: 2)

在现有的预填充-解码分离（PD-disaggregated）架构中，一切的加载义务都拥堵在预填充引擎（PE）的存储网卡上，导致带宽瞬间饱和；

与此同时，解码引擎（DE）的存储网卡却在闲置，形成了严重的资源错配。

(, 下载次数: 2)

更进一步的，当前GPU算力的增长远快于网络带宽和HBM容量的增长，也加剧了I/O限制。

正如英伟达首席迷信家Bill Dally、谷歌架构师Jeff Dean等大佬反复强调的：计算是收费的，但数据移动是昂贵的。

针对这些成绩，DualPath构建了创新的双途径模型：

(, 下载次数: 2)

在架构组成上：

核心技术方案：存储至解码途径

如上所述，DualPath推理系统的核心在于打破了传统的“存储至预填充”单途径形式，创新性地引入了“存储至解码”途径。

该设计允许KV-Cache先加载至解码引擎（DE），再经过高带宽计算网络（RDMA）无损传输给预填充引擎（PE）。

经过在两条途径间动态分配负载，系统将集群中本来闲置的解码侧存储网卡（SNIC）带宽彻底释放，构建起一个全局可调度的存储I/O资源池。

详细来说，为了支持层级流式处理，DualPath在PE和DE上均分配了大批DRAM缓冲区（PE/DE Buffer），并针对不同阶段设计了精细的数据流：

但就像后面提到的，“绕路”加载会带来新成绩：比如搬运缓存的流量撞上了模型计算的通讯，怎样办？

对此，DualPath给出了两套优化方案：

首先是以计算网卡（CNIC）为中心的流量管理，强迫一切流量经过配对的CNIC走GPUDirect RDMA途径。

在InfiniBand或RoCE网络中，应用虚拟层（VL/TC）技术，将推理通讯设为“最高优先级”并预留99%带宽，让缓存搬运只能在间隙中“蹭”带宽，确保互不干扰。

其次是自顺应央求调度器：调度器会盯着每个节点的磁盘队列长度和Token数。系统会优先将义务分配给I/O压力较小且计算负载较轻的节点，从根本上避免单侧网卡或单点计算资源的拥塞。

在实验阶段，DualPath在DeepSeek-V3、Qwen等模型上停止了测试，场景覆盖了离线Rollout和在线服务。

如扫尾所说，在离线推理中，DualPath 将端到端吞吐量提高了高达1.87倍，在线服务吞吐量平均提升1.96倍，分明降低了首字延迟（TTFT），且保持了极其波动的Token间延迟（TBT）。

总的来说，DualPath 证明了经过重新思索数据加载途径可以有效打破当前大模型推理的I/O墙。

它成功应用了解码引擎本来被糜费的I/O带宽，配合自顺应调度和严谨的流量隔离机制，在不添加硬件成本的前提下，大幅提升了智能体LLM推理系统的效率。
One more thing

这篇论文的第一作者吴永彤，是北京大学的博士生，师从金鑫教授。

他的研讨方向聚焦于系统软件与大模型基础设备（LLM Infrastructure），尤其是推理系统的工程优化与规模化部署。

(, 下载次数: 3)

他目前在DeepSeek系统组，参与下一代模型的推理基础设备建设，担任大规模软件系统在多硬件平台上的功能优化。

(, 下载次数: 2)

此前，他还曾在腾讯、华盛顿大学，微软亚研院等机构实习。

参考链接

[1]https://arxiv.org/pdf/2602.21548

[2]https://jokerwyt.github.io/

— 欢迎AI产品从业者共建 —

📚「AI产品知识库」是量子位智库基于长期产品库追踪和用户行为数据推出的飞书知识库，旨在成为AI行业从业者、投资者、研讨者的核心信息枢纽与决策支持平台。

一键关注 👇 点亮星标
科技前沿停顿每日见

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)