职贝云数AI新零售门户

标题: 前沿分享丨DeepSeek-R1超级外挂!“人类最后的考试”初次打破30分,上海交大等开源方案碾压OpenAI、谷歌 [打印本页]

作者: gPEJ 时间: 前天 22:53
标题: 前沿分享丨DeepSeek-R1超级外挂!“人类最后的考试”初次打破30分,上海交大等开源方案碾压OpenAI、谷歌
西风发自凹非寺
量子位 | 公众号 QbitAI

“人类最后的考试”初次打破30分，还是咱国内团队干的！

该测试集是出了名的超难，刚推出时无模型得分能超过10分。

直到最近，最高分也不过26.9，由Kimi-Research和Gemini Deep Research并列获得。

如今，上海交大结合深势科技团队忽然发布了一项新研讨，在“人类最后的考试”（HLE，Humanity’s Last Exam）上一举拿下32.1分，创下新纪录。

在这项研讨中，团队推出工具加强推明智能体X-Master、多智能体工作流系统X-Masters。

划重点：还直接把这套方案给开源了。

网友们纷纷感叹如今AI竞赛太激烈，一天一个样。

(, 下载次数: 0)

另外值得一提的是，这项研讨运用了DeepSeek-R1-0528作为驱动智能体的推理模型，由此也有网友表示：

R1在函数调用上表现仍欠佳，而且在这项研讨里甚至没有针对这一点停止微调。但即便如此，只需给它搭配合适的框架，它在HLE这个难度很高的测试中就能拿到32%的成绩。

虽然大家能够会习气性地称R1为“最佳基础模型”，但我觉得这其实是给V4打下了基础。我敢一定，V4一出来就会自带智能体功能。

(, 下载次数: 0)
怎样做到的？

详细来看X-Master和X-Masters，这是该团队SciMaster系列研讨的第一部分，旨在开发通用迷信AI智能体。

X-Master是一个由开源模型（如DeepSeek-R1）驱动的工具加强型推明智能体，其核心设计理念是模拟人类研讨者的动态成绩处理过程，在外部推理和外部工具运用之间流利切换。

这一过程构成了一个共生循环：

工具输入为智能体的推理提供关键反馈，协助其完善推理；而更明晰的推理又能引导智能体更智能、更高效地运用工具。

完成这一过程的核心机制是将代码概念化为一种交互言语。

当X-Master遇到无法经过外部推理处理的成绩时，它会将准确的举动计划编写为代码块。这个“计划”随后会被执行，与任何所需资源停止接口衔接，这些资源既包括NumPy和SciPy的弱小数值计算才能，也包括团队专门设计的用于实时网络搜索和数据提取的工具包。

执行结果会被无缝吸发出智能体的上下文环境中，丰富其知识储备，并为后续推理提供根据。

(, 下载次数: 0)

详细而言，在智能体的思索过程中，即在token“<think>”和“</think>”之间，智能体既可以生成非代码文本用于推理，也可以在特殊token“<code>”和“</code>”之间生成代码以与环境停止交互。

一旦经过字符串婚配检测到这种形式，其中的代码就会被提取出来，并在一个沙盒环境中执行，在该环境中可以访问各种Python库和工具。

执行结果随后会被附加到模型的上下文中，并由特殊token“<execution_results>”和“</execution_results>”包裹。

之后，推理模型会继续其思索过程，解读执行结果并进一步推理，直到发起下一次交互或思索结束。

由于当前可用的强推理模型（如DeepSeek-R1）本质上是非智能体的，并且往往在遵照指令方面才能有限，仅依托传统的提示工程不足以牢靠地引导这些模型展现出预期的智能体行为。

因此，团队还引入了一个简单而有效的机制：初始推理引导。

该机制不会让推理模型在收到用户查询后立刻末尾不受约束的思索过程，而是在模型的初始“<think>”token之后直接嵌入一系列引导文本。

这些引导文本特意从推明智能体本身的角度出发来设计，采用第一人称表述，例如“我可以经过访问外部环境有效回答这个查询”“每当我确定需求与外部工具交互时，我会生成包裹在<code>和</code>token之间的Python代码”。

团队表示，经过将这些精心设计的自我陈述拼接至模型的上下文中，可有效地引导模型“置信”本身具有加强的才能。

即便没有针对智能体行为停止明白的微调，该模型也可以自主生成和执行代码，与环境交互，并最终发挥出弱小的智能体功能。

接上去，为充分发挥X-Master的潜力，团队设计X-Masters，这是一种分散-堆叠式智能体工作流，经过编排多智能体认知过程，系统地加强推理的广度和深度。

(, 下载次数: 0)

在这个过程中，X-Master的不同实例承担着多种专门角色。

“分散”阶段旨在拓宽思绪，多个求解器（Solver）智能体并行工作，生成多样化的处理方案，同时批判者（Critic）智能体对这些方案能够存在的缺陷停止修正。

接着“堆叠”阶段用于深化思索，重写器（Rewriter）智能体将一切先前的输入综合成更优的处理方案，最后由选择器（Selector）智能体裁定出最佳答案。

团队表示，其分散-堆叠架构本质上是一种结构化探求和应用策略，与强化学习（RL）中的“Rollouts”概念有很强的相似性。

“分散”阶段相似于强化学习中Rollouts的探求原理，即模拟多条将来轨迹以评价不同举动的潜力。后续的“堆叠”阶段相似于强化学习中Rollouts之后的聚合和“应用”步骤。
首个在HLE上得分超过30%的系统

实验部分，团队运用DeepSeek-R1-0528作为驱动智能体的推理模型，最大完成token数设置为64k，temperature为0.6。

测试重点关注HLE的纯文本子集，包含2518个样本。评价运转工作流三次并报告平均分数，同时按照官方设置，运用o3-mini作为评判模型。

基线模型在HLE上的结果均来自现有的排行榜。

次要结果显示，X-Masters获得了32.1%的最高分，超过了一切现有智能体和模型，这也是首个在HLE上得分超过30%的系统。

跨不同类别的功能显示，与DeepSeek-R1-0528相比，X-Masters在一切类别中都显示出分明改善：

(, 下载次数: 0)

消融研讨结果揭示了智能体工作流中的渐进收益：

工具加强推理（求解器）使基线准确率提高了3.4%，迭代优化（批判者和重写器）又添加了 9.5%，最终选择（选择器）则完成了32.1%的纪录成绩。

(, 下载次数: 0)

另外，团队还将X-Masters与生物学范畴迷信智能体停止对比。

近期研讨成果，如Biomni和STELLA，经过应用装备大量专业工具的大言语模型智能体，在应对生物学难题方面获得了一定停顿。

而X-Masters，在HLE的生物学/医学类别中，表现优于现有系统，Biomni的正确率是17.3%，STELLA大概 26%，而 X-Masters达到了27.6%。

并且Biomni和STELLA是从生物学/医学类标题里挑了一部分来测试的，而X-Masters是考了这一类里一切222道纯文字题，阐明它在复杂生物医学成绩上的才能的确突出。

(, 下载次数: 0)

在一个叫TRQA-lit（choice）的生物学专门测试中，X-Masters也获得了目前最好的成绩。这个测试里有172道多选题，都是生物学研讨里的复杂义务，比如找治疗靶点、研讨生物医学机制等

独立的X-Master达到了62.1%的准确率，借助智能体工作流，X-Masters获得了67.4%的SOTA成绩，表现了分散探求和堆叠选择的有效性。

与整合了500多种专家工具的多智能体系统 OriGene相比，X-Master仅运用两种网络工具（网页搜索和网页解析），却获得了更高的准确率，进一步印证了X-Master工具加强推理过程的高效性，即经过广泛探求和堆叠选择，它可以有效处理复杂的生物学义务。

(, 下载次数: 0)
“人类最后的考试”是什么？

“人类最后的考试”由AI安全中心和Scale AI发起，往年年终发布。刚发布时，包括o1在内，没有一个模型得分超过10%，被称作是史上最难大模型测试集。

(, 下载次数: 0)

标题来自500多家机构的1000多名学者，触及机构包括高校、研讨所和企业，还有来自医疗机构的学者以及一些独立研讨者等。OpenAI、Anthropic、谷歌DeepMind以及微软研讨院都包括在其中。

团队搜集到的标题需求阅历大模型和人工的双重审查。不只要达到研讨生难度，而且还要确保不能被检索到。当然标题还该当有明白的答案和评判方式，证明等开放式成绩不会当选。

最终入围的标题有3000多道。

当选的成绩涵盖了数理化、生物医药、工程和社会迷信等多种学科，按细分学科来算则多达100余个。按大类来分，可分为八大类，其中占比最多的是数学（42%），然后是物理和生物医药（均为11%）。

其中有些标题，还会调查模型的视觉才能，比如解读这种上古文字（翻译由GPT-4o生成）。

(, 下载次数: 0)

有些标题还需求结合视觉信息和文本共同了解，比如在化学，特别是无机化学当中，需求用图来表示相关物质的结构。

(, 下载次数: 0)

数学题计算机迷信的标题，对推理的要求很高，难度be like：

(, 下载次数: 0)

足以见得，X-Masters拿下32.1分实属不易，而这项打破性成果还是出自我们国内团队之手。

共同一作Jingyi Chai、Shuo Tang、Rui Ye、Yuwen Du全部来自上海交通大学人工智能研讨院，上海交大陈思衡副教授指点。

深势科技方面，创始人兼首席迷信家张林峰亲身署名。

(, 下载次数: 0)

论文链接：https://arxiv.org/abs/2507.05241
GitHub链接：https://github.com/sjtu-sai-agents/X-Master
参考链接：https://x.com/gm8xx8/status/1942486326726611421

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

专属AI产品从业者的实名社群，只聊AI产品最落地的真成绩
(, 下载次数: 0)
扫码添加小助手，发送「姓名+公司+职位」央求入群～

进群后，你将直接获得： 👉 最新最专业的AI产品信息及分析 🔍 👉 不定期发放的抢手产品内测码 🔥 👉 外部专属内容与专业讨论 👂

🌟 点亮星标 🌟
科技前沿停顿每日见

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)