职贝云数AI新零售门户
标题:
Deepseek V3引见
[打印本页]
作者:
ebE3N
时间:
12 小时前
标题:
Deepseek V3引见
“ deepseek是一个权重开源的大言语模型，其功能比肩chatGPT，本文对Deepseek V3 停止了简要引见。”
DeepSeek-V3模型是一个MoE模型(Mixture-of-Experts language model，混合专家言语模型)，总参数量为671B(假如每个参数按照1个字节存储，则需求671GB显存)。由于本模型为MoE模型，因此每个token的计算并不需求一切专家的参与，只需求部分专家，因此每个token的计算实践参与的或者说被激活的参数量仅为37B。有如下的重要关注点:
为了高效推理，同时降低训练成本，我们沿用了DeepSeek-V2的成功阅历，即MLA(Multi-head Latent Attention，多头潜留意力)和DeepSeekMoE(可以以为是MoE的一种优化版本)。
为了处理MoE训练过程中的负载平衡(即让每个专家都有活干)，传统的是应用负载平衡损失等辅助损失函数来停止负载平衡，但是辅助损失能够会影响模型的功能，所以在本项目中引入了一个权重策略，相似于摇号，对于没被选中的专家网络会添加其权重，从而添加其选中被训练和更新的机会。
为进一步提升功能，采用了多token预测的方式停止训练。
训练流程式先应用大量的高质量多样化数据(共计14.8万亿Token)停止预训练，然后经过监督微调(Supervised Fine-Tuning, SFT)和强化学习阶段充分发掘其潜力。
在详细效果方面，经过片面的评价DeepSeek-V3的功能超越了其他的开源模型，比肩闭源顶尖模型。成本方面，该模型的训练仅需求2.788M H800 GPU小时。此外，训练过程很波动，可以说是一气呵成，没有遇到损失激增，也没有停止过任何回滚。
欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)
Powered by Discuz! X3.5