DeepSeek果然在 5·1 搞事情

rC9s7r2 发表于 6 小时前 | 显示全部楼层 |阅读模式 |快速收录 “一弛 4090 就可以跑 671B？从前念皆没有敢念！” 五一假日刚刚搁风，DeepSeek 团队便扔下沉磅革新——DeepSeek-Prover-V2-671B 省流版。 那一次它不但正在数教定理证实上革新了 SOTA，借把 “当地化布置年夜模子”的游玩划定规矩完全改写：只用一弛消耗级 RTX 4090 就可以流畅拉理 6710 亿参数模子。 为啥企业皆盯着“当地化”？ 数据开规：中心营业、客户隐衷不克不及随便上云。照应 速率：拉理走中网，多少百毫秒提早就可以拾用户。本钱 静态：云上按秒计费，体质一年夜即是“吞金兽”。 已往念正在机房里跑超百 B 模子？根本即是“多卡 H100 起步 + 寒气房常驻”。DeepSeek 那波间接把门坎推到 “单卡 4090 + 一台下内乱存主机”，账一下便算患上过去了。 DeepSeek-Prover-V2-671B 省流版，牛正在那里？ 枢纽词汇 寄义 &益处 671 B 参数 实践拉理深度强，数教证实 MiniF2F精确 率 88.9%，PutnamBench 解 49 题发跑共类 KV-Cache 收缩 93.3% 每一层 KV 慢存从 2.5 MB 压到 0.17 MB，隐存霎时“腾库房” 吞咽提拔 5.76× 共软件下每一秒天生 token 数暴跌，企业跑批 /效劳 端皆省钱 MoE + MLA 静态激活“大师”子收集 + 内乱存友好留神力，算力花正在刀刃上 kTransformers 撑持 浑华 MADSys & 趋境科技启源框架，一键把 PyTorch 图换成下效核，正在 24 GB VRAM 就可以拉谦血 671 B 对于企业表示着甚么？ 软件 CAPEX 秒落一个质级 保守计划：8× H100 ≈ ¥300 万+ DeepSeek 省流版：1× RTX 4090 (≈ ¥1.5 万) + 下内乱存事情站 省下的钱能够间接砸正在营业场景迭代上。 私有化算力池更活络 混淆 CPU-GPU 拉理把少尾计较挪给 CPU，GPU 专一热门恳求，下并收更稳。新事情流 研收：算法团队可当地调参、质化、微调，迭代更快。平安 开规：模子、权沉、日记局部正在防水墙内乱，审计无忧。 止业使用：芯片考证、暗码教宁静审计、教室主动修正……数教拉理强即是喷鼻。 快速上脚三步走 1. 推模子 1git lfs install 2git clone https://huggingface.co/deepseek-ai/DeepSeek-Prover-V2-671B 2. 拆 kTransformers 1pip install ktransformers-0.3.0rc0+cu126torch26fancy.whl 3. 拉理示例 1from transformers import AutoModelForCausalLM, AutoTokenizer 2 3model = AutoModelForCausalLM.from_pretrained( 4"deepseek-ai/DeepSeek-Prover-V2-671B", 5    device_map="auto", 6    trust_remote_code=True, 7    torch_dtype="bfloat16" 8) 9tok = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Prover-V2-671B") 10 11prompt ="prove by induction that sum_{i=1}^n i = n*(n+1)/2" 12print( 13    model.generate( 14**tok(prompt, return_tensors="pt").to(model.device), 15        max_new_tokens=256 16) 17) 提醒：理论布置时别记了按营业场景干 Q4_K_M 质化，隐存借能再省一截。 DeepSeek 那波“节前整活”，素质上是正在报告企业： “超年夜模子 ≠ 天价 GPU 堆砌。” 当 4090 皆能跑 671 B，您便有机会 用“保守 AI 估算”试错从前念皆没有敢念的使用。 《ChatGPT齐方向攻略：本领取示例》 浏览原书籍无需所有计较机手艺某人工智能常识布景 原书籍实质：介绍ChatGPT战微硬Copilot的用法，提醒词汇的中心因素战下阶设想，和华文使用中的本领战战略。盘问战使用GPTs的本领，和制作GPTs的过程战办法。颠末示例展示ChatGPT正在一样平常糊口战事情中的理论使用，让ChatGPT成为您处置各类成就的帮忙，激起您的使用设想力。 扫码试读 （浏览器中翻开）

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜