从DeepSeek模型谈GPU卡精度运算

6KjHg7gd 发表于 2025-8-20 11:24:14 | 显示全部楼层 |阅读模式 |快速收录 导读 原文道浑了“粗度—架构—本钱”的链路，具备很强的幻想意思。差别的GPU卡所撑持的浮面粗度范例可以不同很年夜，并且每一品种型的卡对于差别计较粗度范例的算力撑持也纷歧样。作家从差别GPU卡粗度撑持的情况、合用的场景和道理等圆里具体描绘了GPU卡粗度运算才气对于年夜模子使用的作用，是进步算力服从的必读常识面。 作家：汪照辉 专一于容器云、微效劳、DevOps、数据办理、数字化转型等范围，对于相干手艺有共同的理解战看法。善于于硬件计划战设想，提出的“仄台融合”的概念愈来愈获得认共战幻想证实。揭晓了浩瀚手艺文章会商容器仄台建立、微效劳手艺、DevOps、数字化转型、数据办理、中台建立等外容，受到了普遍存眷战必然。 正在DeepSeek 模子公布以前，对于模子所使用的GPU卡粗度运算才气不太多关心，误觉得差别的卡撑持的计较粗度范例是一致的，实在差别的GPU卡所撑持的浮面粗度范例可以不同很年夜，并且每一品种型的卡对于差别计较粗度范例的算力撑持也是纷歧样的。DeepSeek模子锻炼使用FP8粗度，而目前浩瀚的国产GPU卡皆没有撑持FP8，以是只可变换为FP16粗度运行，也因而对于GPU资本的占用多了一倍。那也使尔开端存眷差别GPU卡对于粗度的撑持成就。 观点到GPU卡的差别 关于差别的GPU卡来讲，其硬软件架构、造程、工艺等纷歧样，也决定了其所散成的计较单位、保存、戴严等组件纷歧样的，而每一种粗度算力战其计较单位数目相关，因而，差别的卡可以对于差别粗度的撑持战其算力的撑持不同很年夜。比方英伟达卡每次公布根本上城市戴去架媾和算力的革新、粗度撑持战算力的完美（下图实质已能深入钻研，如有毛病的地方请批驳斧正）。如Tesla中参加了单粗度FP64以撑持科学战下功用计较（HPC），并正在Fermi架构中改良了单粗度FP64的功用。Hopper架构（如H100、H200、H20）能够撑持FP8粗度，就可以以更节流的GPU卡资本完毕模子锻炼。BlackWell架构拉出了mini的小事情站，传闻撑持开辟者对于DeepSeek、Meta、Google等公司的最新一代拉理AI模子截至本型制作、微和谐拉理，用的即是FP4粗度。 关于国产GPU卡来讲，正在工艺、造程等圆里借临时没法跟英伟达媲好，正在粗度撑持上也存留差异。国产GPU卡根本上多数没有撑持FP8粗度，出格今朝华为、海光、昆仑芯、阿里等的卡借皆没有撑持（国产GPU卡有撑持FP8粗度的，感兴致可自止搜刮），假设要运行DeepSeek R1模子，便需要将FP8的权沉文献变换为FP16格局或者BF16格局，进而使隐存的占用翻倍，也即是道资本占用战本钱根本上是翻倍的，原来2台8卡的机械就能够运行的齐参版原，现在需要4台8卡的机械才气运行，进而也能够瞅出计较粗度对于模子资本占用战本钱的主要性。 GPU浮面数粗度撑持战合用场景 干过java或者C++编程该当明白，浮面数用float战double数据范例暗示，float占4个字节32位的保存空间，单粗度，double占8个字节64位的保存空间，单粗度。单粗度比单粗度表示的更精确，可是保存占用多一倍，计较耗时也更下，因而正在满意粗度请求的情况，能够尽可以削减保存空间战提拔计较服从，也因而正在模子AI模子锻炼等场景中呈现了FP1六、BF16半粗度等范例。2022年9月由多野芯片厂约定义的FP8粗度范例，2023年10月由喷鼻港科技年夜教等机构界说LLM-FP4粗度，撑持狂言语模子Post-training等场景。FP8战FP4没有是邪式的浮面数范例，也提出的绝对较早，因而海内的算力卡年夜多皆借没有撑持。 今朝经常使用到的浮面数粗度有单粗度FP6四、单粗度（FT3二、TF3二、HF32）、半粗度（FP1六、BF16）、8位粗度FP8（E4M3战E5M2二种格局），和质化粗度（INT8、INT4）战4位粗度（FP四、NF4）等。差别粗度所使用的场景也有不同。单粗度FP64占用资本空间多，运行功用好，粗度下，多用于下粗度科学运算、金融修模、天气模仿等偏差敏感场景。单粗度FP32多用于庞大数教运算、图形衬着、深度进修拉理等场景，占用隐存等资本年夜。TF32是英伟达提出的里背深度进修锻炼的浮面数范例，它颠末截短尾数年夜幅提拔计较功用，正在功用、范畴战粗度上完毕了均衡。HF32是华为使用的模子锻炼浮面数范例，退一步削减尾数，更保守天捐躯粗度调换速率，提拔模子锻炼战拉理功用。半粗度（FP1六、BF16）用于深度进修场景，锻炼友好，可处置梯度变革狠恶的成就等。BF16（Brain Float16），由Google Brain提出，也是为了机械进修而设想，由1个标记位，8位指数位（战FP32不合）战7位小数位（高于FP16）构成，其粗度高于FP16，可是暗示范畴战FP32不合，战FP32之间很简单变换，用于年夜模子锻炼等。8位粗度（FP8）是为年夜模子锻炼设想，如DeepSeekV3\R1等，极年夜削减了保存空间，退一步低落了对于保存战算力需要。FP4是4位浮面质化粗度，适宜需要保存数值范畴的使用如梯襟怀化；NF4是4位回一化浮面质化，合用于邪态散布权沉数据如狂言语模子等。质化粗度（INT8、INT4）：合用于保存小、粗度高场景，INT8适宜拉理阶段使用、拉理下效，因而今朝年夜部门DeepSeek R1模子布置质化 INT8版原，既根本到达模子结果，也大批节流资本战本钱。INT4完毕了极致收缩，但是易得实，适宜极度资本受限场景。 对于粗度的根底介绍也十分多，有兴致能够搜刮深入进修。每一种粗度范例所合用的场景会有不同，因而差别的GPU或者NPU卡因为消耗时间、目标等纷歧样，因而合用的场景也有所区分。为了阐扬卡的最好功用，正在运行时需要思考营业模子等的场景。 正在使用GPU卡截至模子锻炼战拉理过程当中，假设使用没有准确，可以面对着一个浮面数粗度丧失的成就。 粗度丧失成就 粗度丧失素质源于数字正在计较机中的暗示方法取计较划定规矩战幻想数教逻辑的差别，浮面数两退造暗示的固出缺陷所构成的。 十退造小数（如0.一、0.3）没法用无限位两退造小数精确暗示，只可类似保存。比方 0.1的两退造暗示为0.00011001100110011…（轮回节为0011），计较机保存时需截断，招致初初舍进偏差。这种偏差正在乏减、迭代计较中会逐步积累，终极作用成果粗度。别的浮面数保存位数的限定，单粗度实践有用数字约7位十退造数，单粗度有用数字约16位十退造数，因而，跟着数字愈来愈年夜，数字的暗示也愈来愈禁绝确。类似值的暗示正在截至计较时取实在值存留倾向。 第两是计较过程当中的舍进偏差积累构成的。正在浮面数多步计较如迭代供解圆程组、数值积分过程当中，粗度偏差逐步通报积累，计较1e20 + 1 - 1e20时，果1e20取1的数目级差别极年夜，1正在单粗度下会被望为0，终极成果为0（实在值为1），别的当二个数目级差别超越指数位暗示范畴时，小数的尾数会被年夜数的尾数笼盖，也会构成年夜数“吞吃”小数征象。比方1000000000000 + 1正在FP32中，果指数位限定，1的尾数没法被准确暗示，成果仍为1000000000000。 第三是正在数据范例变换过程当中也会激发粗度丧失，如下粗度背高粗度变换，高粗度范例的尾数位数不敷，需截断下位有用数字。FP64数3.141592653589793转为FP32时，尾数位仅保存23位，成果变成3.1415927。整数取浮面数的变换也会构成偏差，整数转浮面数：超年夜整数（如2^53 + 1）果超越FP64尾数暗示范畴，会被类似为2^53。浮面数转整数：小数部门间接放弃（如3.999转整数为3）。 第四是算法设想取数值颠簸性成就。正在病态成就（Ill - conditioned Problem）处置中，输出的弘大变革可以招致输出狠恶变革的计较成就。例：供解队列式靠近整的线性圆程组时，舍进偏差会被缩小，招致成果得实。大概毛病的计较挨次也会招致偏差发生。 第五是软件架构取粗度撑持限定，高粗度格局的固出缺陷易正在庞大计较中积聚偏差。Tensor Core加快、混淆粗度锻炼皆可以果粗度变换中若已准确办理（如梯度缩搁），可以招致梯度磨灭或者爆炸，激发粗度丧失。 第六是特别数值取鸿沟前提处置，无穷年夜（Infinity）取非数（NaN），除以整、正数启仄圆等操纵会天生NaN，后绝计较中NaN会“净化”全部成果链；和靠近整的微小值（Subnormal Numbers），正在计较中可以呈现大批Subnormal数时，软件可以切换至高效情势，招致粗度取功用两重丧失。 粗度丧失素质是团聚化计较取持续数教模子之间的冲突产品，其成果涵盖数字暗示、计较划定规矩、软件架媾和算法设想等多层级因素。正在理论使用中，可颠末挑选适宜的粗度格局（如FP64替换FP32）、劣化计较挨次、引进偏差抵偿算法（如Kahan乞降）或者接纳混淆粗度锻炼战略，正在计较服从取粗度之间得到均衡。 模子粗度需要战隐卡匹配选型 因为差别的营业场景对于粗度的请求纷歧样，因而正在理论GPU卡实践中，需要挑选适宜的GPU卡资本，有针对于性天劣化浮面数粗度，以更佳的匹配营业场景粗度需要。不外目前实践中又常常受限于所具有的GPU卡资本范例，和数据宁静、开规请求等，易以按需挑选适宜的GPU卡。不外深入理解粗度对于模子的作用，也能够更佳的开辟出更符合已经有资本范例的模子。 浮面数粗度劣化能够从需要阐发→算法设想→软件选型→代码完毕等建立粗度劣化的齐性命周期办理过程，正在理论使用中，应先颠末偏差阐发定位主要丧失源，再分离场景特征挑选“粗度格局+算法+软件”的拉拢计划。比方正在金融范围劣先接纳定面数取软件校验，深度进修偏重混淆粗度取梯度办理，科学计较则依靠单粗度算法取偏差抵偿。颠末这类精确施策，可正在包管营业粗度请求的共时，最年夜化适配计较资本战资本使用率。 起首需要挑选适宜的粗度格局，差别营业场景对于粗度请求纷歧样，按照营业场景粗度请求，挑选适宜的粗度，进而能够肯定适宜的GPU卡；其次，能够从算法层里尽可以抑止偏差，颠末劣化计较挨次，共标记数无限相给以制止邪背相消招致的丧失，处置乏减偏差，挨次乞降以避免年夜数吞吃小数等。第三能够使用GPU卡软件战其架构特征，好比DeepSeek使用的P-D别离等，但是这类方法需要对于GPU的架构有深入的理解，并且可以欠亨用，易度比力年夜；第四能够正在代码完毕中隐式掌握粗度变换等尽可以削减粗度丧失。总之，正在使用GPU卡的实践中，为完毕最年夜的算力使用，需要接纳多种方法战伎俩，最根本的是挑选适宜的匹配的GPU卡。 撑持社区撑持原文偕行概念，请面赞、转收或者面打“♡” 欢送面打文终浏览本文，能够间接瞅到社区中原文中可以没有包罗的的局部疑息战最新革新 联系关系举荐：年夜模子场景中 GPU 支流收集互联手艺及功用评介数智人场景中怎样颠末模子冷交流完毕GPU落原删效？实践取案例：鉴于 GPU 及 vLLM减速 年夜模子拉理合用手艺分享怎样鉴于分片 GPU 手艺进步算力资本使用率？同构GPU资本池化探析 欢送存眷社区 “GPU”相干实质，理解最新止业偕行大师的分享战各人的概念。地点： https://www.talkwithtrend.com/Topic/111987 少按两维码存眷公家号 *原公家号所公布实质仅代表作家概念，没有代表社区态度

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜