职贝云数AI新零售门户

标题: 刚刚,DeepSeek最新发文!V3/R1训练细节全公开,信息量宏大! [打印本页]

作者: ZqUIC 时间: 8 小时前
标题: 刚刚,DeepSeek最新发文!V3/R1训练细节全公开,信息量宏大!
点击下方卡片，关注计算机视觉DailyAI/CV重磅干货，第一工夫送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到知晓材料，及最前沿运用！发论文/搞科研/涨薪，激烈引荐！

转载自：新智元｜编辑：KingHZ 桃子

【导读】新规第一天，DeepSeek第一工夫站出来了！接上去，一切自家AI生成内容，统统标出「AI身份」。更劲爆的是，DeepSeek自动「交底」V3/R1的模型训练细节。

明天，网信办《人工智能生成合成内容标识办法》正式失效。

其中，第四条要求：对符合要求的AI生成合成内容添加显式标识。

紧跟最新政策，DeepSeek出手了。

刚刚，DeepSeek官微发布了最新回应公告——凡是AI生成的内容，都会清楚标注「AI生成」。

它还郑重提示，用户严禁恶意删除、篡改、藏匿标识，更别提用AI传播、制造虚伪信息。

(, 下载次数: 0)

此外，这次还发布了《模型原理与训练方法阐明》，可以一瞥DeepSeek的技术途径。

接上去，深扒一下DeepSeek V3/R1的一些训练细节。

(, 下载次数: 0)

传送门：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html

(, 下载次数: 0)
回应新要求，DeepSeek公开技术阐明

DeepSeek次要引见了大模型的训练和推理阶段，包括预训练、优化训练（微调）以及训练数据等。

(, 下载次数: 0)

不同大模型的神经网络架构

(, 下载次数: 0)

模型训练

模型训练阶段即模型的开发阶段：经过设计好的深度神经网络架构和训练方法，开发人员开发出可被部署运用的模型。

模型由多层神经网络组成，不同的架构直接影响模型的功能。此外，模型功能也受参数规模的制约，而训练的目的就是找到详细的参数值。

(, 下载次数: 0)

目前，大模型的参数规模数以亿计。最新的DeepSeek-V3-0324，参数总量为6850亿。

在训练过程中，这些参数经过梯度下降算法迭代优化。

(, 下载次数: 0)

这次，DeepSeek把模型训练分为预训练和优化训练两个环节。

预训练：预训练目的是经过数据训练模型，使模型掌握通用的言语了解与生成才能。

优化训练：也称为微调，是在预训练模型的基础上经过特定义务的数据进一步调整模型参数，使模型顺应实践运用场景。

在预训练阶段，模型经过大规模自监督学习，从文本数据中学习言语形式与知识关联。预训练完成后，模型能了解并生成连接的文本，但还不会精准地回答成绩或执行义务，因此需求进一步的训练微调。

在优化训练阶段，模型普统统过SFT、RL等方法，学会根据指令回答成绩，符合人类的偏好和需求，并激发在特定范畴的专业才能。

(, 下载次数: 0)

经过优化训练的模型能更好地满足实践需求，可被部署运用。

(, 下载次数: 0)
深挖训练「内情」，炼出最弱小脑

DeepSeek模型的才能，是建立在高质量、大规模、多样化的数据之上。

在「预训练阶段」和「优化训练阶段」，各有不同。

(, 下载次数: 0)

预训练阶段

在预训练阶段，次要运用了两类数据：

互联网公开可用的信息，比如网页、公开文档等。

与第三方合作获取答应的数据

需求强调的是，在此阶段，根本无需获取个人信息用于训练，DeepSeek不会有意关联至任何特定账户和个人，更不会自动将其用于训练模型。

不过，预训练数据规模过于庞大，能够偶然包含了一些个人信息。

对此，DeepSeek会经过技术手腕，尽力筛查并移除这些信息，确保数据「干干净净」。

为了保证数据质量、安全、多样，他们还打造了一套硬核数据管理流程——

首先，经过「过滤器」自动剔除仇恨言论、色情低俗、暴力、渣滓信息，以及能够侵权的原始数据。

其次，经过算法+人工审核，辨认并降低数据中的统计性成见，让模型更公平、更客观。

(, 下载次数: 0)

优化训练阶段

到了优化训练阶段，普通需求经过人工或自动化的方式构造、标注一批问答对数据来对模型停止训练。

DeepSeek这次表示：这些问答对数据是由研讨团队生成提供的，其中少部分数据的构造能够会基于用户的输入。

(, 下载次数: 0)

在DeepSeek-R1训练中，研讨人员直接提示模型生成包含反思和验证的详细答案；搜集并整理DeepSeek-R1-Zero的输入，使其具有可读性；以及经过人工注释者的后期处理来提高数据质量

如触及应用用户的输入构造训练数据，DeepSeek会对数据停止安全加密技术处理、严厉的去标识化和匿名化处理，从而尽能够避免训练数据关联到任何特定个人，且不会在模型给其他用户的输入中带有个人信息，更不会将其用于用户画像或个性化引荐。

同时，DeepSeek为用户提供了选择加入的权益。

为了确保模型的安全性，在模型优化训练阶段，DeepSeek构造了专门的安全数据对模型停止安全对齐，教会模型的回复符合人类的价值观，加强模型内生的安全才能。

(, 下载次数: 0)

模型推理

模型的推理阶段即模型被部署提供服务。

模型训练完成并被部署后，可以经过对输入信息停止编码和计算来预测下一个token，从而具有文本生成和对话等才能。

部署后的模型可以纯熟执行基于文本生成的广泛多样的义务，并可以集成到各种下游系统或运用中。

详细到DeepSeek的产品服务，基于用户的输入，模型采用自回归生成方式，基于输入的上下文内容，经过概率计算预测最能够的接续词汇序列。

(, 下载次数: 0)

推理完成后，模型输入相应的内容作为呼应，包括文字、表格和代码等。

此并非简单检索或「复制粘贴」训练数据中的原始文本，模型也并未存储用于训练的原始文本数据副本，而是基于对言语结构和语义关系的深度了解，动态生成符合语境的回答。

DeepSeek这次还强调模型开源。

我们经过开源平台对外公开发布了一切模型的权重、参数以及推理工具代码等，并采用宽松的MIT协议，供运用者自在、收费下载部署运用。

同时，DeepSeek发布各模型的残缺技术报告，供社区和研讨人员参考，并协助公众更深化地了解每个模型的技术原理和细节。

(, 下载次数: 0)
LLM致命幻觉，全周期硬核对抗

无须置疑，当前AI发展还在早期阶段，存在无法避免的局限性。

若是再被加以滥用，将会带来严重的后果。

(, 下载次数: 0)

局限性

AI往往会生成错误、遗漏，或不符合理想的内容，这种现象一致称之为「幻觉」。

这个成绩，是整个AI行业面临的应战。

对此，DeepSeek正经过一些技术手腕降低幻觉率，包括高质量的训练数据、优化对齐策略、RAG等，但现阶段依无法完全消灭。

同时，他们还在欢迎页、生成文本的末尾，以及交互界面底部，添加分明的提示标识。

特别提示用户——内容由人工智能生成，能够不准确。

因此，AI生成的内容仅供参考，一切人不应将输入的内容作为专业建议。

尤其是，在医疗、法律、金融等专业范畴，DeepSeek不提供任何建议或承诺，专业的事儿还得找专业的人。

(, 下载次数: 0)

(, 下载次数: 0)

滥用风险

AI技术本身是中立的，但滥用能够带来隐私保护、版权、数据安全、内容安全、成见歧视等风险。

DeepSeek对此也是高度注重，采取了一系列硬核措施，贯穿了模型研发、训练、部署的全生命周期。

制定外部风险管理制度

展开模型安全性评价

停止红队测试

加强模型和服务透明度等

更重要的是，DeepSeek还赋予了用户知情权、选择权、控制权——

你可以查询服务的基本信息、回绝其数据用于模型训练、删除其历史数据等。
参考材料：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html绘图神器下载

后台回复：绘图神器，即可下载绘制神经网络结构的神器！

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的一切566页课件PPT！赶紧学起来！

CVPR 2025 论文和代码下载

在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可央求加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目的检测、图像分割、目的跟踪、人脸检测&辨认、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&紧缩、去噪、去雾、去雨、风格迁移、遥感图像、行为辨认、视频了解、图像交融、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研讨方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被经过且约请进群

(, 下载次数: 0)

▲扫码或加微信号: CVer2233，进交流群

CVer计算机视觉（知识星球）人数破万！假如你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到知晓学习教程等材料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！

(, 下载次数: 0)

▲扫码加入星球学习

▲点击上方卡片，关注公众号

整理不易，请赞和在看

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)