DeepSeek＂技术上至少抢先半年＂,到底抢先了什么?

6KjHg7gd 发表于 3 小时前 | 显示全部楼层 |阅读模式 |快速收录 4月30日，AI科学野马骁腾瞅完DeepSeek V4的58页手艺陈述后，对于腾讯往事道了一句话： "DeepSeek正在一点儿手艺上最少争先半年。" 那句话很快被截与传布，但是许多人遗漏了限制：没有是部分争先，是正在工程架媾和多少个枢纽手艺标的目的上，最少争先止业半年。 部分呢？DeepSeek自己坦启，仍落伍GPT-5.4战Gemini 3.1 Pro约3到6个月。 这终归争先了甚么？ DSec容器：锻炼能够"读档沉去" 马骁腾重复提的，是DeepSeek自研的DSec容器手艺。 锻炼年夜模子像正在乌房子里探究。您花了3周算力跑一个标的目的，发明走正了，重新再去。每次试错皆烧失落多少百万实金利剑银。 DSec给那个乌房子拆了"存档面"。锻炼过程当中随时给全部体系形状拍一弛快照，一朝后绝标的目的走偏偏，能霎时闪回到谁人时间面交偏重去。 并且那个"存档"没有是只可存一个。它素质上是个沙箱体系，一个散群能共时启多少十万个"存档位"，特地给Agent锻炼用——Agent需要重复试错、重复沉去，DSec恰好对于心。 马骁腾的本话："这类工程活络度，尔今朝借出正在海内第两野公司睹过，包罗外洋年夜厂也出观点到那个手艺对于Agent锻炼的主要性。" 简朴道：他人锻炼走正了，糜掷多少周以至多少个月算力沉去；DeepSeek能随时"读档"。那个服从好没有是百分之多少，是多少倍多少十倍。 三个万亿级跑通的工程活 马骁腾觉得，DeepSeek干的许多"火下工夫"，其余年夜厂借正在小模子上试，DeepSeek已经正在万亿参数级别残破跑通了。 1. OPD锻炼范式——让"西席"边干边学 一个年夜模子里面有多少百个"大师"小模子，如何让它们共同患上更佳？从前的法子是让大师先归纳一套学案，再学给其余模子照着练。成就是学案写患上再佳，也没有如亲脚干一遍去患上准。OPD的作法是让大师边干边学——自己先真操一遍，把真战经历间接灌给师长教师。DeepSeek是业界第一个正在万亿参数模子上把那个跑通的，其余公司借正在小模子上考证。 2. 少高低文本钱掌握——本来处置一原故事的钱，现在能处置八原 V4把高低文窗心推到了100万token——大要相称于一次性塞进去一原少篇故事。但是单token算力只用了前代的27%，KV慢存只剩10%。没有是靠省钱省进去的，是改天基，没有是调参数能调进去的。 3. 磁盘KV慢存——把冷菜搁退冰箱，吃的时候再冷 模子拉理时，KV慢存存留隐存里，贵且小。DeepSeek把它搬到软盘上耐久化保存，用的时候再调进去。听着简朴？软盘比隐存缓佳多少个数目级，间接搬下来模子会卡逝世。DeepSeek的作法是预判模子交下来需要哪些数据，延迟从软盘搬回隐存——便像延迟把菜从冰箱拿进去解冻，等您要用的时候恰好能用。那讲题许多团队念解但是出解进去，DeepSeek跑通了。 那三面单拎进去所有一项，皆没有是"争先一面面"的质级。但是DeepSeek把它们齐塞退了一个版原里。 昇腾芯片：被疏忽的更年夜变质 马骁腾博访里特地提到了一个简单被疏忽的细节：华为昇腾芯片第一次支持起了万亿参数级前沿模子的锻炼。 那事的作用可以比V4自己借年夜。 V4-Pro的预锻炼仍正在英伟达H800/H100上完毕，但是V4-Flash的后锻炼已经由昇腾完毕。后锻炼是模子成型后的粗建阶段，固然算力需要比预锻炼小，但是已经是国产芯片第一次正在那个关节扛年夜梁。 目前对于中API拉理也运行正在昇腾上。那表示着不但是尝试室里跑通了，是果然正在给用户搞活。 DeepSeek从架构设想层里干了三件事离开英伟达死态：用MXFP4质化甩启NVIDIA FP8绑定、用TileLang自研算子离开CUDA、用MegaMoE2融合内乱核跑通昇腾适配。手艺细节没有睁开，枢纽是成果—— 公布当天，8野国产芯片厂24小时内乱完毕适配：华为昇腾、热武纪、海光、摩我线程、沐曦、昆仑芯、仄头哥实武、天数智芯。 昇腾950单卡算力是英伟达H20的2.87倍，推销 价仅1/4。 马骁腾鉴别："海内第一梯队的模子厂商，预锻炼已经部门能够用昇腾交流英伟达了，后锻炼借出到谁人水平。" 本来只需一个选项，现在开端有此外路走了。 这篇被连夜增失落的论文 4月30日统一天，DeepSeek多模态团队担当人陈小康正在X上收拉，宣布了新论文《Thinking with Visual Primitives》，暗示"Excited to release"。 多少小时后，拉文增了，GitHub上的论文撤了，5月1日翻开已经是404。民间出给所有注释。 多野媒介正在论文磨灭前保留了齐文。APPSO、凤凰网等5野媒介的鉴别下度不合：增稿没有是因为干错了，是干患上太佳了，底牌明多了。 那篇论文处置了一个统统年夜模子皆有的缺陷：能"瞥见"图片，但是道禁绝职位。您问它"开影里右起第三小我私家脱甚么"，它经常问错；让它数图里有多少小我私家，经常大都或者大都。 DeepSeek的解法是给模子拆了"脚指头"——把面坐标、鸿沟框那些望觉本语间接嵌进思惟链，让模子像人一致边指边念。 计数精确率比Claude下了20个百分面；迷宫导航66.9%，其余模子靠近瞎受的50%。 服从更尽：他人用1000个残破的望觉token描绘一弛图，DeepSeek只用81个坐标指针"指着道"，每一个指针便多少个数字。按总参数目算，收缩比7056倍。 新浪的报导弥补了一个鉴别：增稿可以是因为灰度上线识图功用后，间接把中心底牌明给了统统合作敌手。许多数据需要从头检验战改正，无望从头上传到arxiv。 DeepSeek出逝世磕编程 许多人咽槽V4编程才气出甩启敌手。马骁腾道了，那是DeepSeek成心选的——逝世磕编程，功用拉到顶尖没有易，但是价格是通用才气推胯。此次V4把钱花正在了更易之处：通用天下常识战一样平常写做。这种任务不尺度谜底，无法靠加强进修软刷，只可靠模子根柢佳。 换句话道：编程是单项赛，谁皆能卷；通用才气是万能赛，卷没有进去。 最初算一笔账 DeepSeek自己正在手艺陈述里很坦诚：部分才气仍落伍GPT-5.四、Gemini 3约3到6个月。 但是正在工程服从、少高低文本钱、多模态空间拉理、国产算力适配那多少个标的目的，已经反超。 价钱：V4-Pro百万输出token 6块钱，是GPT-5.5的1/36。Flash版2块。 功用好多少个月，价钱好多少十倍。算力上，英伟达再也不是唯一解了。 那个账，您自己算。

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜