开启左侧

一文了解DeepSeek及运用场景

[复制链接]
在线会员 dyfowXijS 发表于 2025-4-16 13:55:01 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题 |快速收录


阿里妹导读

原文具体介绍了DeepSeek及其使用场景,涵盖了年夜模子的开展过程、根本道理战分类(通用取拉理模子)。文章阐发了DeepSeek的具体特征、功用劣势、高本钱锻炼取挪用特性,和其手艺门路(如MoE、MLA架构),并取竞品截至了比照。别的,借会商了DeepSeek正在金融风控等范围的使用远景。


1、年夜模子开展回忆


1.1. 年夜模子开展过程



    从OpenAI瞅年夜模子开展趋势

一文理解DeepSeek及使用场景w2.jpg


2024年5月,OpenAI公布了GPT-4o,模子能够处置战天生文原、图象战音频。GPT-4o 正在语音、多语言战望觉基准尝试中得到了开始退的功效,缔造了语音识别战翻译的新记载。

2024年7月,OpenAI公布了GPT-4o mini,代替 ChatGPT 界里上的 GPT-3.5 Turbo,API本钱 清楚低落,合用于企业、草创公司战开辟者。

2024年9月,OpenAI 公布了 o1-preview(更适宜拉理任务)战 o1-mini(更适宜编程任务)模子,那些模子设想为正在天生答复时破费更多时间思考,进而进步精确性。

2024年12月,OpenAI 公布了 o1,比 o1-preview 更智能、更快,功用更多(好比多模态功用)

2025年2月,OpenAI 公布了o3-mini,o3-mini正在年夜大都情况下o3-mini比o1-mini发生更精确、更明了的谜底,共时照应更快,其均匀照应时间为7.7秒,较o1-mini的10.16秒提拔了24%。

2025年2月9日,OpenAI公布崭新的智能体-deep research,能够截至收集浏览战数据阐发,能够使用拉理去搜刮、注释战阐发互联网上的大批文原、图象战PDF文献,并按照汇集的疑息截至活络调解。

2025年2月9日,OpenAI暗示内部已经到达了GPT-4.5,暗示交下来的重心是下才气的拉理模子、多模态和智能体。

2025年2月28日,OpenAI公布GPT-4.5,最年夜、常识最丰硕、情商最下的年夜模子。

*GPT-4o的o暗示omni,意为“齐知万能的”;o1/o3的o暗示OpenAI.

从OpenAI的开展历程瞅年夜模子的开展趋势:
    GPT-x系列: 更强的通用才气;GPT-4o等:多模态输出输出才气;o系列: 拉理模子,庞大拉理才气, CoT;-mini: 更高本钱、更快照应速率;
    deep research等: 年夜模子agent;


1.2. 年夜模子根本道理


年夜模子是怎样建立的?

一文理解DeepSeek及使用场景w3.jpg

引用论文 Large Language Models: A Survey [1]
    Step 1: 准备数据战数据洗濯。数据散源于网页、册本、专客、知乎、百科等。Step 2: 分词汇,转移为模子可用于输出的tokenStep 3:位置 编码Step 4:中止 模子预锻炼,即输出文原,让模子干next token prediction等任务。

一文理解DeepSeek及使用场景w4.jpg
    Step 5: 颠末SFT等伎俩微和谐指令微调, 学会年夜模子怎样对于话战完毕一定任务Step 6: 颠末RLHF等伎俩退一步对于齐人类偏偏佳,引进人类反应,辅导模子劣化标的目的,天生越发契合人类需要,减缓无害性战幻觉的成就Step 7: 颠末贪婪搜刮等天生战略,逐步天生下一个词汇
    Step 8: 劣化取加快锻炼拉理历程

中心的三个步调: 预锻炼,有监视微和谐人类反应加强进修。

一文理解DeepSeek及使用场景w5.jpg

1.3. 拉理模子取通用模子


年夜模子开展于今,能够分为: 通用年夜模子取拉理年夜模子。

    通用年夜模子: 合用于年夜大都任务,偏重于语言天生、高低文理解战天然语言处置,而没有夸大深度拉理才气。此类模子凡是颠末对于大批文原数据的锻炼,把握语言纪律并能够天生适宜的实质,但是缺少像拉理模子这样庞大的拉理战决议计划才气。

    拉理年夜模子: 正在保守模子根底上,加强拉理、逻辑阐发战决议计划才气。

一文理解DeepSeek及使用场景w6.jpg

思惟链(Chain of Thought, CoT)颠末请求/提醒模子正在输出终极谜底以前,隐式输出中心逐步的拉理步调那一办法去减强大模子的算数、知识战拉理的功用。从该角度,能够将年夜模子的范式分为二类: 几率猜测(快速反响模子)战链式反响(缓速思考模子),前者适宜快速反应,处置立即任务,后者颠末拉理处置庞大成就。

一文理解DeepSeek及使用场景w7.jpg

一个例子,问: 1+2+3+4+5+6+7+8+9+10=几,间接报告尔谜底

    快速反响模子答复:

一文理解DeepSeek及使用场景w8.jpg


    缓速思考模子答复:

一文理解DeepSeek及使用场景w9.jpg

2、DeepSeek


2.1. DeepSeek是甚么



    DeepSeek(深度供索)是华夏的野生智能公司,建立于 2023 年7月,由出名质化资管巨子幻圆质化创建,专一于根究通用野生智能(artificial general intelligence,AGI)的完毕路子,主攻年夜模子研收取使用。

    DeepSeek-V3是其启源的通用天然语言处置模子,对于标GPT-4o.

    DeepSeek-R1是其启源的拉理模子,善于处置庞大任务,对于标OpenAI o1 / o1-mini.

一文理解DeepSeek及使用场景w10.jpg

DeepSeek支流模子的竞品对于标

2.2. DeepSeek能够干甚么


间接里背用户大概撑持开辟者,供给智能对于话、文原天生、语义理解、计较拉理、代码天生补齐等使用场景,撑持联网搜刮取深度思考,共时撑持文原上传,能够扫描读与各种文献及图片的笔墨实质。

一文理解DeepSeek及使用场景w11.jpg

2.3. DeepSeek的模子比照


2.3.1. DeepSeek模子开展史

一文理解DeepSeek及使用场景w12.jpg

质料滥觞: 彩云之北公家号,浙商证券钻研所。[相干链交2]

咱们常道的DeepSeek的年夜模子,是指目前支流的DeepSeek-V3战DeepSeek-R1。
2.3.2. V3取R1的比照取挑选

归纳: 没有思考挪用本钱,庞大拉理任务(比方数教、代码等)大概期望获得思惟链,劣先DeepSeek-R1;实质创做、文原天生等劣先DeepSeek-V3。

    DeepSeekV3取DeepSeek-R1的比照

一文理解DeepSeek及使用场景w13.jpg


    挑选V3战R1的指北

一文理解DeepSeek及使用场景w14.jpg

2.3.3. 竞品-OpenAI的年夜模子

一文理解DeepSeek及使用场景w15.jpg

*o3-mini的一个介绍: [3], o1-mini的一个介绍: [4], GPT-4o的一个介绍: [5], GPT-4o-mini的一个介绍: [6]
2.3.4. 竞品-通义千问的年夜模子

一文理解DeepSeek及使用场景w16.jpg


一文理解DeepSeek及使用场景w17.jpg


引用: 通义千问民网[7]

2.4. DeepSeek为何年夜水


一文理解DeepSeek及使用场景w18.jpg

2.4.1.功用 良好


    DeepSeek-v3揣度速率快:咽字速率从v2的20TPS提拔到60TPS.

    DeepSeek-v3功用良好: 正在今朝年夜模子支流榜单中,DeepSeek-V3 正在启源模子中位列榜尾,取天下上开始退的关源模子没有分昆季。

一文理解DeepSeek及使用场景w19.jpg


    DeepSeek R1专一于拉理才气,特别是麋集拉理任务(reasoning-intensive tasks),好比代码、数教、科学、逻辑拉理那些戴有大白谜底的良界说的成就。DeepSeek R1正在数教、代码、天然语言拉理等任务上功用可比肩OpenAI o1模子邪式版



      正在AIME 2024数教基准尝试中,DeepSeek R1患上分率79.8%,OpenAI o1患上分率79.2%。


      正在MATH-500基准尝试中,DeepSeek R1患上分率97.3%,OpenAI o1患上分率96.4%。


一文理解DeepSeek及使用场景w20.jpg


    整理悟(Aha)时候: 纯真的RL(不隐式天供给CoT数据,而是报告模子先思考,再答复)就能够激起模子产出戴有少思惟链(以至是深思)的复兴的才气,正在DeepSeek-R1-zero锻炼过程当中,正在某个一定阶段,模子突然教会了从头评介自己的初初办法,并为庞大成就分派更多的思考时间。那个时候不但标记着模子才气的量的奔腾,也是钻研者们的严峻发明,它展示了加强进修正在培养AI自立思考战成就处置才气圆里的弘大后劲。

一文理解DeepSeek及使用场景w21.jpg


    蒸馏小模子:正在R1的公布中,共时根究了怎样将年夜模子的拉理才气下效天蒸馏到小模子中,使用DeepSeek-R1天生80万条锻炼样原,间接对于启源的小模子(如Qwen战Llama系列)截至微调,启源了便利当地布置的一寡蒸馏小模子。

*AIME 2024: 数教题,涵盖算术、代数、计数、多少、数论、几率等中教数教中心的分析评测,尝试数教成就处置才气。

*MATH-500:包括 500个尝试样原的MATH评测散,全面查询拜访数教解题才气。

*GPQA: 钻研死水平的大师拉理,一个颠末钻研死级别成就评介下阶科学解题才气的评测散,旨正在查询拜访科学成就处置才气。
2.4.2. 锻炼自制

论断: DeepSeek-V3 较 OpenAI竞品,锻炼本钱约为1/20~1/3

    DeepSeek-V3锻炼本钱 557.6万美圆,但是没有包罗架构、算法等本钱。以H800算力为例,锻炼消耗278.8万个GPU小时,租用价钱为2美圆/GPU小时;

    按照第三圆测算,OpenAI o1取锻炼需要3.2万弛H100锻炼90天,需要6912万H100 SXM GPU小时,估量锻炼本钱数亿美圆。据此预算,DeepSeek-V3锻炼本钱是Meta 的1/10,OpenAI 的1/20;

    守旧估量,现在正在好国预锻炼多少千亿参数的一个模子实在也便没有到2000万美圆的本钱,DeepSeek 把本钱好未几收缩到三分之一。

*注, H800为针对于华夏商场定造,功用战价钱略高于H100.
2.4.3. API挪用自制

论断: DeepSeek-V3 API挪用价钱约为OpenAI o3-mini的1/4,为GPT-4o的约1/10. 但是要下于GPT-4o-mini,功用 强于GPT-4o-mini.

如下为目前挪用价钱,以token为单元,1个英笔墨符约0.3个token,1其中笔墨符约0.6个token,即1 token可对于应1-2其中文汉字,或者对于应3-4个英笔墨符,或者0.75个英文单词汇,停止到2025年2月8日

一文理解DeepSeek及使用场景w22.jpg

*o3 mini思惟链: 2025年2月7日,openAI公然o3 mini思惟链,业界推测非本初思惟链,而是归纳以后的思惟链输出。

*慢存掷中: 正在年夜模子 API 的使用场景中,用户的输出有相称比率是重复的。举例道,用户的 prompt 常常有一点儿重复引用的部门;再举例道,多轮对于话中,每轮皆要将前多少轮的实质重复输出。启动高低文软盘慢存手艺,把估量未来会重复使用的实质,慢存留散布式的软盘阵列中。假设输出存留重复,则重复的部门只要供从慢存读与,无需计较。该手艺不但低落效劳的提早,借年夜幅增加终极的使用本钱。

*MMLU(年夜范围多任务语言理解)是一种新的基准尝试,涵盖STEM、人文、社会科学等57个教科,有用天权衡了分析常识才气
2.4.4. 别的因素


    启源:代码堆栈挑选了年夜气鼓鼓的MIT启源和谈,模子合用自修启源容许证,完整没有限定商用。

    动作鲶鱼,让环球年夜模子比赛退一步提速。OpenAI公布崭新拉理模子o3-mini,并初度背免费用户盛开拉理模子。OpenAI CEO奥我特曼初度认可,正在启源上OpenAI站正在了汗青的毛病一圆。已往一周多的时间里,海内中年夜模子厂商从“告急上线”新模子,到贬价、免费,各种步伐表白,正在DeepSeek的安慰下,AI年夜模子止业的合作邪变患上愈来愈剧烈。

    教术上:DeepSeek-R1-Zero展示了自尔考证、反射战天生少CoT等功用,那标记着钻研界的主要里程碑。那是第一个考证的开辟钻研,能够地道颠末RL去鼓励的LLMs拉理才气,而无需SFT,处置了CoT数据获得艰难的成就。


2.5. DeepSeek为何又佳又省-手艺门路


2.5.1.主要 手艺门路


    模子构造战锻炼办法上: 省

一文理解DeepSeek及使用场景w23.jpg

参照: DeepSeek-v3手艺文档 [8]


      DeepSeekMoE: 混淆大师模子,拉理时,仅静态激活部门大师(37B 参数),而非齐模子参数(671B 参数),削减计较承担。

      引进无帮助丧失的天然背载均衡去处置差别大师的背载均衡成就。

      接纳MLA (Multi-Head Latent Attention)架构,扩大了保守的多头留神力体制,引进潜背质(latent variables),能够静态调解留神力体制,捕获任务中差别的隐露语义。正在锻炼中削减内乱存战计较开销,正在拉理中低落KV慢存占用空间,把隐存占用落为MHA架构的5%~13%。

      接纳多步token猜测 MTP(Multi-Token Prediction)。一般LLM一次天生1个token,DeepSeek正在一定场景下能共时猜测多个token,去进步旌旗灯号稀度。一圆里能够削减高低文漂移、逻辑更毗连,也能削减一点儿重复中心步调,正在数教、代码战文原择要场景能提拔服从。


一文理解DeepSeek及使用场景w24.jpg



      接纳了GRPO(Group Relative Policy Optimization)的加强进修算法。中心思惟是:关于每一个成就,从旧战略中采样多个输出,而后按照那些输出的嘉奖计较绝对评分去劣化新战略。跳过保守RL中取战略模子等范围的critic收集,削减开销。



    模子构造战锻炼办法上: 佳



      Cot:Chain of thought。将庞大的成就装分红小步的中心逻辑,细分逻辑链条。正在锻炼阶段,DeepSeek-R1用标注的Long CoT数据微调模子,让模子天生更明了的拉理步调,正在加强进修顶用CoT设想嘉奖劣化,增强少链拉理才气,而且正在此过程当中察看到了模子的深思(追溯拉理路子)、多路子拉理(能给出多个解)、aha时候(颠末战略突破瓶颈)等自觉举动。

      拒绝采样: 当针对于拉理的加强进修支敛后,钻研者们使用锻炼获得的模子截至拒绝采样,天生多个谜底,而后只挑选最劣的谜底去持续锻炼,天生新的监视微调(SFT)数据。那个阶段的目标是进步模子正在非拉理任务(如写做、脚色饰演等)上的表示。



    工程上:省



      FP8混淆粗度锻炼:引进了FP8 混淆粗度锻炼框架,比拟保守的FP16 粗度,数据内乱存占用更少,但是正在一点儿算子模块、权沉中仍然保存了FP1六、FP32 的粗度,节流计较资本。

      下层通信劣化:特地开辟了下效的跨节面齐对于齐通信内乱核,劣化对于戴严的使用,包管数据传输服从,并能撑持年夜范围布置。

      DualPipe跨节面通信:保守锻炼疑息流火线会发生一点儿等候时间、有“流火线气鼓鼓泡”,DeepSeek设想了一个两重流火线,让一个计较阶段正在等候数据传输时能够切换到另外一批数据,充实使用空闲时间。

      并止:对于软件的限度使用. 正在体系架构层里,DeepSeek便使用了大师并止锻炼手艺,颠末将差别的大师模块分派到差别的计较装备上共时截至锻炼,提拔了锻炼过程当中的计较服从。并对于算力干极致收缩。

2.5.2. Mixture of Experts (MoE) 混淆大师模子

MoE正在NLP、CV、多模态战举荐体系中有普遍的使用(时间线上面的启源,上面的关源)。

一文理解DeepSeek及使用场景w25.jpg

参照:  A Survey on Mixture of Experts [9]

    中心设法: 模子的差别参数, 动作大师,针对于差别的任务大概差别的数据定造化。

    长处: 给定输出,只需部门相干的大师会被激活,使患上计较质削减,但是得益于丰硕的定造化的常识池。

二种典范的MoE: Dense MoE VS. Sparse MoE

一文理解DeepSeek及使用场景w26.jpg


    Dense MoE: 屡屡前背传布,统统大师到场,计较承担年夜

一文理解DeepSeek及使用场景w27.jpg


    Sparse MoE: 正在屡屡前背传布时只挑选大师的一身材散,即Top-k大师

一文理解DeepSeek及使用场景w28.jpg

常常会戴去背载均衡成就,即大师事情质的不服衡散布,部门大师频仍革新,别的大师很少革新,大批钻研专一于处置背载均衡成就。

DeepSeek的MoE构造: DeepSeekMoE

DeepSeek-R1: 1个同享的大师+63个路由的大师,每一个大师是尺度FFN的1/4巨细.

一文理解DeepSeek及使用场景w29.jpg

2.5.3. Multi-Head Latent Attention (MLA)

一文理解DeepSeek及使用场景w30.jpg


    高秩分离收缩键值:MLA颠末高秩分离收缩键值(Key-Value),将它们收缩为一个潜背质,进而年夜幅削减所需的慢存容质,低落计较庞大度。

    劣化键值慢存:正在拉理阶段,MHA需要慢存自力的键战值矩阵,会增加内乱存战计较,而MLA颠末高秩矩阵合成手艺,清楚加小了保存KV的维度,进而低落了内乱存占用。
2.5.4. R1的锻炼范式:热启用取多阶段RL

一文理解DeepSeek及使用场景w31.jpg

参照: 知乎@秘密伏打 [10]

    Step 1 热启用: 先汇集一部门下品质CoT热启用数据(约多少千条),使用该数据fine-tune DeepSeek-v3-base模子,忘为模子A;

    Step2 年夜范围RL: 使用A模子用GPRO锻炼,使其出现拉理才气,支敛的模子忘为B;

    Step3 : 使用B模子发生下品质SFT数据,并混淆DeepSeek-V3发生的别的范围的下品质数据,组成一个下品质数据散;

    Step4 再次SFT: 使用该数据散锻炼本初DeepSeek-v3-base模子,忘为模子C;

    Step5 终极RL: 使用C从头截至Step2,可是数据散变成统统范围,支敛后的模子忘为D,那个模子即是DeepSeek-R1

    Step6: 锻炼C模子的数据对于小模子截至蒸馏,获得蒸馏的绝对较小的模子。


2.6. DeepSeek取竞品比照


2.6.1. 多少个竞品的比照


名目/模子

DeepSeek-R1

GPT-4o

豆包

模子定位

专一下端拉理战庞大逻辑成就

通用年夜模子,旨正在处置多任务、多模态

华文情况,里背C端用户,沉质化、娱乐化

可否启源





可,贸易化产物

善于功用

庞大拉理,比方数教、代码

通用语言天生、

多模态理解

拟人化谈天、创意实质天生、图象天生

定造化水平

下;用户可改正模子举动并针对于一定用例截至劣化

高;主要颠末API挪用于提醒工程截至微调

高;供给API效劳,活络性高

软件请求

安然平静;布置对于软件请求绝对适中

没有合用;仅颠末OpenAI根底装备上的API供给

动作云端产物,无需自修软件,后端依靠云计较散群

多模态撑持

久无,可用Janus-Pro多模态年夜模子

强多模态才气,撑持文原、图象等输出

必然的多模态撑持

用户集体

开辟者、企业用户、专科钻研者

环球阻留用户、企业客户战开辟者,下端商场

一般消耗者、实质创作家,字节死态

    DeepSeek:适宜需要止业定造化、下性价比的企业用户、钻研者,特别是华文垂类场景。
    GPT系列:劣势正在于通用性、多模态才气战环球化常识笼盖。

    豆包:定位沉质级C端使用,接互简朴、实质偏偏娱乐化,依靠字节死态,常识偏偏海内。
2.6.2. DeepSeek的缺点


    DeepSeek-V3正在一点儿层里上是有偏偏科的。它的创意天生绝对单薄,盛开性任务表示一般,构造化思惟的才气近下于收集思惟。以至正在专科范围比通用范围表示的更佳。

    DeepSeek-R1 专一于拉理,正在函数挪用、多轮对于话、庞大脚色饰演战 JSON输出 等任务上的才气不迭 DeepSeek-V3。

    民间尝试: 正在典范的编辑沉力小球弹跳可望化剧本的尝试中,从物理教的依照水平来说,取OpenAI o3-mini比拟仍是有差异的。
2.6.3. DeepSeek的作用

一文理解DeepSeek及使用场景w32.jpg

促进了年夜模子启源历程,动作鲶鱼,让环球年夜模子比赛退一步提速。

2.7. DeepSeek使用倡议


DeepSeek提醒词汇库[11]
2.7.1. DeepSeek使用的差别面


    DeepSeek-R1动作拉理模子



      其已经内乱化拉理逻辑,prompt该当越发繁复,只要大白任务目标战需要;

      无需逐步辅导,模子主动天生构造化拉理历程,假设强止装解步调,可以会限定其才气。



    DeepSeek-v3动作通用模子



      关于庞大拉理任务,需隐式指导拉理步调;

      依靠提醒语抵偿才气短板,如请求阐发思考、供给示例等。


一文理解DeepSeek及使用场景w33.jpg

2.7.2. R1的准确翻开方法

一文理解DeepSeek及使用场景w34.jpg

关于拉理年夜模子,存留欺骗本领生效战“启迪式提醒”生效的成就:

参照: 知乎田威AI[12]

    欺骗本领生效



    脚色饰演战构造化提醒词汇等“启迪式提醒”生效。已往脚色饰演战构造化提醒词汇能够清楚提拔AI天生实质的品质,但是正在R1等拉理模子上,DeepSeek并无果然正在饰演咱们让它饰演的脚色,而是颠末拉理阐发用户的需要去天生实质,而且自立完毕思惟链的建立,因而启迪式提醒可以会滋扰逻辑主线。
2.7.3. DeepSeek使用倡议


    天然语言劣先。DeepSeek正在接互方法上寻求天然,咱们只要供像跟人对于话一致描绘您的理论需要取实在场景。一个可以的提问模板
[前情]+[任务]+[请求]+[弥补]


    擅用DeepSeek-R1的深度思考才气


      1. “批驳望角”,助咱们识别潜伏危急2. “顺背拉演”,自愿考证逻辑漏洞
      3. “跨界迁徙”,引进其余范围处置计划



    多瞅思考历程,理解解题思路。

    警惕AI幻觉。特别是处置大批史真类疑息、日期类疑息时会有大批毛病。

参照链交:

[1]https://arxiv.org/abs/2402.06196

[2]https://www.fxbaogao.com/insights/detail/399

[3]https://aliyuque.antfin.com/zeyuwang.wzy/hexfpw/介绍一下%20OpenAI%20o3-mini

[4]https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/

[5]https://openai.com/index/gpt-4o-system-card/

[6]https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

[7]https://tongyi.aliyun.com/

[8]https://arxiv.org/abs/2412.19437

[9]https://arxiv.org/abs/2407.06204

[10]https://www.zhihu.com/question/10902308423/answer/98590834435

[11]https://api-docs.deepseek.com/zh-cn/prompt-library/

[12]https://www.zhihu.com/question/10821868607

RDS+ClickHouse建立一站式HTAP

颠末融合MySQL战ClickHouse的数据共步才气,用户能够正在一个可望化窗心中简朴活络天设置战办理及时数据共步,那为营业报表统计、接互式经营阐发战及时数仓建立供给了便当。   

面打浏览本文检察概略。
您需要登录后才可以回帖 登录 | 立即注册 qq_login

本版积分规则

发布主题
阅读排行更多+
用专业创造成效
400-778-7781
周一至周五 9:00-18:00
意见反馈:server@mailiao.group
紧急联系:181-67184787
ftqrcode

扫一扫关注我们

Powered by 职贝云数A新零售门户 X3.5© 2004-2025 职贝云数 Inc.( 蜀ICP备2024104722号 )