职贝云数AI新零售门户

标题: DeepSeek最新停顿: DeepSeek-V3 如何经过最小化硬件开支和最大化计算效率来完成高功能言语建模 [打印本页]

---

作者: jQi    时间: 8 小时前
标题: DeepSeek最新停顿: DeepSeek-V3 如何经过最小化硬件开支和最大化计算效率来完成高功能言语建模
大型言语模型 (LLM) 的开发和部署增长与架构创新、大规模数据集和硬件改进亲密相关。DeepSeek-V3、GPT-4o、Claude 3.5 Sonnet 和 LLaMA-3 等模型曾经展现了扩展如何加强推理和对话才能。但是，随着功能的提升，计算、内存和通讯带宽需求也随之增长，给硬件带来了宏大的压力。假如模型和基础设备协同设计无法同步推进，这些模型就有能够只要拥有大量资源的组织才能运用。这使得优化训练成本、推理速度和内存效率成为一个关键的研讨范畴。核心应战在于模型规模与硬件才能的不婚配。LLM 的内存耗费每年增长超过 1000%，而高速内存带宽的增幅却不到 50%。在推理过程中，将先前的上下文缓存在键值 (KV) 存储中会添加内存压力并降低处理速度。高密度模型会激活每个 token 的一切参数，这会添加计算成本，尤其是对于包含数千亿个参数的模型而言。这导致每个 token 需求停止数十亿次浮点运算，并产生高能耗。关键功能目的“每个输入 token 工夫 (TPOT)”也遭到影响，从而影响用户体验。这些成绩需求的处理方案不只仅是简单地添加更多硬件。多查询留意力机制 (MQA) 和分组查询留意力机制 (GQA) 等技术经过共享留意力权重来减少内存占用。窗口化键值缓存经过仅存储最近的标记来降低内存占用，但能够会限制对长上下文的了解。运用 4 位和 8 位等低位格式停止量化紧缩可以进一步减少内存占用，但有时会牺牲准确率。BF16 和 FP8 等准确格式可以提高训练速度和效率。这些技术虽然适用，但通常只能处理个别成绩，而无法提供片面的处理方案来应对扩展应战。DeepSeek-AI 的研讨人员在 DeepSeek-V3 的开发中引入了一种愈加集成高效的策略，旨在智能扩展而非过度扩展。该模型应用 2,048 块 NVIDIA H800 GPU，在兼顾成本效益的同时完成了杰出的功能。团队摒弃了对庞大基础设备的依赖，而是设计了模型架构，使其可以与硬件约束和谐运转。这项工作的核心是一些创新，例如用于内存优化的多头潜在留意力 (MLA)、用于提高计算效率的混合专家 (MoE) 框架，以及在不牺牲准确率的状况下提升功能的 FP8 混合精度训练。此外，还采用了定制的多平面网络拓扑，以最大限制地减少设备间通讯开支。一切这些组件共同构成了 DeepSeek-V3 一个可扩展且易于访问的处理方案，可以在分明精简的资源上运转，同时与更大型的系统相媲美。

该架构经过运用 MLA 将每个 token 的 KV 缓存需求降低至仅 70 KB，从而完成内存效率提升。相比之下，Qwen-2.5 和 LLaMA-3.1 分别需求 327 KB 和 516 KB。这种降低是经过将留意力头紧缩为与模型结合训练的较小潜在向量来完成的。MoE 模型进一步提升了计算效率，总参数添加到 6710 亿，但每个 token 仅激活 370 亿个参数。这与需求完全激活参数的密集模型构成了鲜明对比。例如，LLaMA-3.1 每个 token 需求 2,448 GFLOPS，而 DeepSeek-V3 仅需 250 GFLOPS。此外，该架构集成了多 token 预测 (MTP) 模块，支持一步生成多个 token。该系统的生成速度提高了 1.8 倍，实践测量表明，揣测解码的 token 接受率达到 80-90%。
(, 下载次数: 0)

上传

点击文件名下载附件

DeepSeek-V3 运用由 CX7 400 Gbps InfiniBand NIC 互连的系统，实际 TPOT 达到 14.76 毫秒，相当于每秒 67 个令牌。运用 NVIDIA GB200 NVL72 等提供 900 GB/s 的更高带宽配置，该数字可延长至 0.82 毫秒 TPOT，潜在完成每秒 1,200 个令牌。由于计算通讯堆叠和内存限制，实践吞吐量较低，但该框架为将来的高速完成奠定了基础。FP8 精度进一步提升了速度。该训练框架采用分块 1×128 和分块 128×128 量化，与 BF16 相比，准确率损失不到 0.25%。这些结果在集成到 671B 模型之前，已在较小的 16B 和 230B 参数版本上停止了验证。

对 DeepSeek-V3 的深化研讨得出的几个关键结论包括：

MLA compression reduces KV cache size per token from 516 KB to 70 KB, significantly lowering memory demands during inference.
MLA 紧缩将每个标记的 KV 缓存大小从 516 KB 减少到 70 KB，从而分明降低了推理时期的内存需求。Only 37 billion of the 671 billion total parameters are activated per token, dramatically reducing compute and memory requirements without compromising model performance.
每个令牌仅激活 6710 亿个总参数中的 370 亿个，从而大大降低了计算和内存需求，同时又不影响模型功能。DeepSeek-V3 requires just 250 GFLOPS per token, compared to 2,448 GFLOPS for dense models like LLaMA-3.1, highlighting its computational efficiency.
DeepSeek-V3 每个令牌仅需求 250 GFLOPS，而 LLaMA-3.1 等密集模型则需求 2,448 GFLOPS，这突显了其计算效率。Achieves up to 67 tokens per second (TPS) on a 400 Gbps InfiniBand network, with the potential to scale to 1,200 TPS using advanced interconnects like NVL72.
在 400 Gbps InfiniBand 网络上完成高达每秒 67 个令牌 (TPS)，并有能够运用 NVL72 等高级互连扩展到 1,200 TPS。Multi-Token Prediction (MTP) improves generation speed by 1.8×, with a token acceptance rate of 80-90%, enhancing inference throughput.
多令牌预测（MTP）将生成速度提高了 1.8 倍，令牌接受率达到 80-90%，加强了推理吞吐量。FP8 mixed-precision training enables faster computation with less than 0.25% accuracy degradation, validated through extensive small-scale ablations.
FP8 混合精度训练可以完成更快的计算，准确度下降不到 0.25%，这已经过大量小规模消融得到验证。Capable of running on a $10,000 server equipped with a consumer-grade GPU, delivering nearly 20 TPS, making high-performance LLMs more accessible.
可以在装备消费级 GPU 的 10,000 美元服务器上运转，提供近 20 TPS，使高功能 LLM 更容易获得。

总而言之，这项研讨提出了一个完善的框架，用于构建弱小且资源精简的大规模言语模型。经过直接处理诸如内存限制、高计算成本和推理延迟等基本约束，研讨人员证明了智能架构与硬件协同设计无需依赖庞大的基础设备即可完成高功能。DeepSeek-V3 是一个明晰的案例，展现了效率与可扩展性如何共存，使尖端人工智能技术可以被不同组织更广泛地采用。这种方法将扩展性从依托蛮力完成转变为经过更智能的工程完成。

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5