职贝云数AI新零售门户

标题: 晓|Manus团队揭秘让AI智能体高效工作的 “上下文魔法” [打印本页]

作者: BGM    时间: 10 小时前
标题: 晓|Manus团队揭秘让AI智能体高效工作的 “上下文魔法”
旺晓通:深化浅出,轻松知晓

你有没有过这样的阅历?跟智能助手说"帮我整理下这周的邮件,按优先级分类",结果它前两步还挺顺,到第三步忽然末尾反复操作,要么就是卡在某个地方半天没反应,最后告诉你"上下文过长,无法处理"。

我们解读最新技术,文末有相关信息。

(, 下载次数: 0)

作者:张长旺,图源:旺知识

这背后藏着一个AI行业的关键机密:决议智能体(也就是能自主完成义务的AI)工作效率的,能够不是它有多聪明,而是它"记住信息"的方式。明天我们就来聊聊这个听起来很玄乎的"上下文工程"——一群工程师在打造Manus智能体时,踩了有数坑才总结出的实战阅历,说不定能让你明白为什么有的AI像高效助理,有的却像刚入职的实习生。
一、为什么AI也需求"备忘录"?聊聊KV缓存的省钱之道

假如你问Manus团队的工程师,打造智能体最该关注什么,他们大概率会指着屏幕上的"KV缓存命中率"说:"就是它了。"

(, 下载次数: 0)

这东西听起来像电脑术语,其实原理很简单:你可以把它了解成智能体的"备忘录"。当智能体处理义务时,比如帮你分析一份财报,它会一步步调用工具——先打开文件,再提取数据,然后计算增长率,每一步的操作和结果都会记上去,构成"上下文"。下一次决策时,它就得回头看这些记录。

但成绩是,上下文会越变越长。就像你写报告时,草稿纸越堆越厚,每次翻找后面的内容都要花更多工夫。智能体也是如此,每一步新增的记录都会让它"重读"一切内容,既慢又费钱。

而KV缓存的作用,就是让智能体记住"曾经看过的内容"。比如第一次分析财报时,它读了公司称号、营收总额这些扫尾信息;第二次继续分析时,只需扫尾没变,就不用再重新读一遍,直接用之前的"记忆"就行。这就像你翻书时夹了个书签,下次直接从书签处末尾,省去了从头翻的功夫。

工程师们发现,这不只能提速,还能大幅降低成本。用Claude Sonnet举例,缓存过的内容处理费用是0.3美元/百万token,没缓存的要3美元——差了10倍!要是处理大量数据,这省上去的钱可不少。

(, 下载次数: 0)

那怎样用好这个"备忘录"?有三个小技巧:
二、智能体的"工具箱管理术":不用的工具别扔,盖起来就行

假如你见过维修徒弟的工具箱,会发现外面总有一些不常用的工具——旧螺丝刀、备用零件,虽然暂时不用,但扔了又怕哪天需求。智能体的"工具箱"也是一个道理。

(, 下载次数: 0)

随着智能体才能变强,它能调用的工具会越来越多:查网页的、处理文件的、运转代码的……就像徒弟的工具箱越装越满。这时你能够会想:不用的工具是不是该拿走?以免智能体眼花,选错工具。

但Manus的工程师们试过之后发现,这是个坑。

为什么?由于工具列表通常放在上下文的扫尾,跟系统提示挨得近。一旦增删工具,就像你改了工具箱的标签,智能体之前对工具的"记忆"(也就是KV缓存)就全乱了,又得重新"看法"一切工具,既慢又容易出错。更费事的是,之前的操作记录里能够提到过这些工具,如今忽然没了,智能体就会 confusion:"我之前用的那个工具去哪了?"

那怎样办?工程师们想出了个妙招:掩盖,而非移除。

(, 下载次数: 0)

简单说,就是不用的工具还放在工具箱里,只是暂时用布盖起来,不让智能体看到。比如处理文字时,就把代码运转工具盖起来;需求上网时,再把本地文件工具盖起来。

这就像你整理衣柜:冬天的大衣夏天不穿,不用扔掉,找个袋子套起来放衣柜顶层就行,秋天拿出来还能用。智能体也一样,被"盖住"的工具还在上下文里,缓存不会失效,之前的记录也能对上,只是暂时不被选中而已。

他们还发明了个小技巧:给工具起有规律的名字。比如一切网页相关的工具都叫"browser_xxx",命令行工具都叫"shell_xxx"。这样想让智能体只用阅读器工具时,只需设定"只看带browser_的"就行,不用一个个盖,效率高多了。

这么做的好处很分明:智能体不会由于工具变动而 confusion,缓存能接着用,处理速度和准确性都稳多了。就像徒弟的工具箱一直划一,想用什么一眼就能找到,不用每次开工前先整理半天。
三、当智能体"记不住"时:给它一本"笔记本"

你有没有过这种体验:闭会时记笔记,内容太多写不下,要么简写,要么漏重点,回头看时一脸懵。智能体也会遇到相似成绩——它的"脑子"(上下文窗口)容量有限,比如有些模型最多能记128K个token,但真遇到大义务,比如分析100页的PDF,这点容量根本不够用。

(, 下载次数: 0)

更费事的是,内容太多时,智能体还会变笨。就像人脑子里装了太多事,反应会变慢,决策也容易出错。而且,就算能记住,处理这么多内容的费用也不低——相当于你雇人抄书,字越多,花的钱越多。

(, 下载次数: 0)

那怎样办?Manus的工程师们想了个接地气的办法:让智能体学会用"笔记本"——也就是文件系统。

详细来说,智能体处理大文件时,不用把一切内容都记在上下文里,而是把关键信息存成文件。比如分析网页时,不用复制整页内容,存个网址就行;处理PDF时,把摘要写进一个文本文件,然后上下文里只记"文件存在哪个文件夹"。需求时,智能体本人去读文件,就像你翻笔记本查信息。

这招有三个好处:

工程师们还发现,这种方式能够合适更高效的AI模型。如今主流的Transformer模型虽然强,但处理长内容时效率普通;而另一种叫SSM的模型,虽然不擅长记长内容,但假如能配合文件系统"记笔记",能够会跑得更快、更省资源。说不定将来的智能体,都会带着个"笔记本"下班。
四、智能体也会"走神"?用"待办清单"把它拉回来

你有没有过这种阅历:写报告时,本来要分析数据,结果忽然想起要查材料,查着查着又刷起了网页,最后忘了最后要干嘛。智能体处理复杂义务时,也会犯相似的"走神"缺点。

(, 下载次数: 0)

Manus的工程师们观察到,他们的智能体平均要调用50次工具才能完成一个义务——这相当于你延续做50步操作,很容易跑偏。比如帮你整理会议纪要,本来要提取举动项,结果能够沉浸于翻译某个专业术语,忘了主线。

(, 下载次数: 0)

怎样让智能体专注?他们从生活中找了个灵感:待办清单。

智能体会在处理义务时,生成一个todo.md文件,外面列着要做的事。每完成一步,就打个勾,再更新清单。比如"1. 提取会议中的举动项;2. 按担任人分类;3. 整理成表格",做完第一步就标上"已完成",再检查下下一步该干嘛。

这个简单的动作,其真实操控智能体的"留意力"。就像你工作时,把待办清单贴在电脑旁,每看一眼就提示本人"别跑偏"。对智能体来说,这个清单会被放在上下文的末尾,而AI模型对最近的内容更敏感——相当于把重要目的放在它的"视野范围内"。

这招特别管用,能避免"中间遗忘"的成绩。比如处理多步骤义务时,后面的操作和结果越来越多,智能体很容易忘了最后的目的。有了待办清单,它会不断"复读"本人的义务,就像登山时不断看山顶,才不会在半山腰绕路。

更妙的是,这不需求改模型本身,只用自然言语就能做到。就像你不用给大脑装什么特殊安装,一张待办清单就能提高专注力——简单,却有效。
五、别擦掉智能体的"错题本":错误是最好的教师

假如先生做错了题,教师会让他把错题擦掉吗?显然不会。错题是学习的重要素材,智能体也一样。

(, 下载次数: 0)

Manus的工程师们发现,很多人打造智能体时,总想着"掩盖错误":智能体操作失误了,就删掉记录,让它重跑;环境出成绩了,就重置形态,假装没发生过。看似能让过程更"完美",实则丢了让智能体提高的机会。

(, 下载次数: 0)

为什么?由于错误里藏着重要信息。比如智能体调用工具时参数错了,前往"有效输入",这个记录要是留着,下次它就会知道"这个参数不能这么填";假如删掉,它能够会再犯异样的错,就像先生擦掉错题,下次还会做错。

工程师们把这种思绪总结为:保留错误,让智能体从本人的"错题本"里学习。

详细怎样做?很简单:上下文里不只要记成功的操作,也要记失败的尝试——哪个工具调用错了,前往了什么错误,甚至是混乱的日志。这些"不完美"的记录,会成为智能体调整决策的根据。

举个例子:智能体尝试运转一段代码,结果报错"语法错误"。假如保留这个错误,下次它就会检查语法;假如删掉,它能够会反复提交异样的错误代码,糜费工夫。

这种方式还能让智能体更"像人"。理想中,谁工作没犯过错?重要的是能从错误中恢复。工程师们以为,判别一个智能体能否真的"智能",不光看它能完成多少义务,更看它遇到错误时能不能调整——就像评价一个人,不光看他的成功,也看他的抗波折才能。
六、别让智能体掉进"套路圈套":多样化才能更灵敏

你有没有见过这样的机器人:只会反复固定动作,比如不断挥手,就算你让它停下也停不上去。智能体假如训练不当,也会堕入相似的"套路圈套"——只会机械反复某个操作,不会灵敏应变。

(, 下载次数: 0)

这背后的成绩,叫"少样本圈套"。简单说,就是假如智能体看到的例子太单一,就会学出刻板的"套路"。比如你总让它用异样的格式调用工具,它能够就只会这一种格式,换个场景就懵了。

Manus的工程师们就遇到过这种状况:让智能体批量处理网页时,前两次都是"打开页面→保存内容",结果后面18次,它全按这个套路来,哪怕有的页面根本不用保存,也照样操作,纯属糜费功夫。

(, 下载次数: 0)

怎样破?添加多样性,让智能体看到不同的"玩法"。

工程师们的做法很巧妙:在上下文里故意加入一些"小变化"。比如调用工具时,有时用"打开链接:xxx",有时用"执行操作:打开网页 xxx";记录结果时,有时加工夫戳,有时不加。这些纤细的差异,能打破刻板的套路。

效果很分明:智能体不会再机械反复,而是会根据详细状况调整操作。比如处理需求分析的网页,它会多一步"提取关键信息";处理简单的页面,就直接保存——就像人做事,会根据义务灵敏调整,而不是死按模板。

这背后的道理,跟教育很像:假如教师只讲一种解题方法,先生就只会套公式;假如多讲几种思绪,先生才能触类旁通。智能体也一样,多样化的上下文能让它更灵敏,更能应对复杂的理想场景。
结语:上下文工程,决议智能体"好不好用"的关键

看完这些,你大概明白了:打造一个好用的智能体,不光要靠弱小的模型,更要靠对"上下文"的精心设计——就像造房子,不光要选好材料(模型),还要搭好框架(上下文)。

(, 下载次数: 0)

Manus团队在反复试错中总结的这些阅历——用好缓存、管理好工具、学会用文件系统、记待办清单、保留错误、保持多样性——本质上都是在回答一个成绩:如何让智能体更高效、更牢靠、更灵敏地完成义务。

将来的智能体能够会更聪明、更强,但无论模型怎样提高,"上下文"这个基础都不会变。毕竟,再强的大脑,也需求明晰的记忆、有序的工具和从错误中学习的机会——这一点,智能体和人,其实很像。

假如你也对智能体感兴味,不妨从这些"接地气"的技巧末尾揣摩。说不定下一个让AI更好用的创新,就藏在这些细节里。
参考材料








欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/) Powered by Discuz! X3.5