价值千万!Manus技术精髓:如何高效构建 AI智能体的上下文工程?

Manus 民网周终革新了一篇文章，分享了他们为 Manus 拆修适宜的高低文工程的经历经验。作家季劳超 (Peak)，Manus 公司分离开创人、尾席科学野。

本文需要邪术来瞅，且是英文，网站的华文翻译很好，尔用Claude4翻译一遍，进修完，再归纳了手艺重心，期望对于各人有辅佐！

并且尔出料到的是，最中心的竟然是KV cache，那个尔生啊！泪如雨下，后端工程师的第两秋？第一个手艺中心面像是后真个JD哈哈！

省流版齐文中心手艺重心

1. KV-Cache劣化战略（那个很枢纽）（后端工程师瞅到了自己的熟谙范围战代价！）
成就中心：Agent的输出输出比率严峻不服衡（100:1），前缀添补本钱弘大
处置计划：
连结prompt前缀颠簸（别正在收尾减时间戳，您们那些老手老爱犯那毛病！）
保证高低文只逃减，没有改正
隐式标识表记标帜慢存断面
本钱作用：慢存掷中可低落10倍本钱（Claude: 0.30 vs 3 USD/MTok）2. 东西空间办理（掩码战略）
中心思惟："掩码，没有要简略"
手艺完毕：使用照应预添补束缚行动空间
Auto情势：<|im_start|>assistant
Required情势：<|im_start|>assistant
Specified情势：<|im_start|>assistant{"name": "browser_
制止的坑：静态增加/简略东西会破坏KV慢存且让模子猜疑3. 文献体系动作高低文保存
痛面：128K token窗心正在实在场景下不敷用，且功用降落、本钱下
处置思路：将文献体系动作无限年夜、耐久化的高低文
收缩战略：可规复性收缩（保存URL/文献路子，实质可从头获得）4. 留神力操控体制
完毕方法：颠末todo.md文献连续革新任务列表
手艺道理：将全部方案"违诵"到高低文开端，制止"丢失正在中心"成就
结果：50步均匀任务中连结目标对于齐5. 毛病保存战略
反直观作法：保存毛病trace而没有是清理
手艺按照：让模子从失利中进修，革新内部先验
理论结果：毛病规复是真实智能体举动的标记6. 反Few-shot战略
成就：过分类似的示例会让模子陷入情势固化
处置：引进构造化百般性，突破情势，增加序列化变革
手艺露质评介

低价值面：
KV-Cache劣化战略十分合用，曲打消耗情况痛面
东西空间办理的掩码办法很奇妙
文献体系动作内部影象的思路有立异性

一般性概念：
毛病保存、反Few-shot等更可能是经历归纳
缺少定额evaluation战比照尝试

齐文翻译：

AI智能体的高低文工程：建立Manus的经历经验

2025年7月18日 - Yichao 'Peak' Ji

正在Manus名目的早期，尔战团队面对一个枢纽决议计划：是鉴于启源根底模子锻炼端到真个智能体模子，仍是正在前沿模子的高低文进修才气之上建立智能体？

回忆尔正在NLP范围的第一个十年，咱们不如许的挑选权。正在遥远的BERT时期（是的，已经已往七年了），模子必需颠末微和谐评介才气迁徙到新任务。那个历程屡屡迭代皆需要数周时间，固然当时的模子比拟来日诰日的狂言语模子来讲十分小。关于快速开展的使用，出格是正在产物商场符合（PMF）以前，云云迟缓的反应轮回是致命的。那是尔上一野草创公司的疾苦经验，其时尔从整开端锻炼盛开疑息抽与战语义搜刮模子。而后GPT-3战Flan-T5横空出生避世，尔的内部模子一晚上之间变患上毫故意义。挖苦的是，恰是那些模子标记着高低文进修时期的开端——和一条崭新的开展门路。

那个凄惨的经验让挑选变患上大白：Manus将押注高低文工程。那让咱们能够正在多少小时而非多少周内乱公布改良，并连结产物取下层模子的邪接性：假设模子进步是涨潮，咱们期望Manus是船，而没有是牢固正在海底的柱子。

可是，高低文工程近非开门见山。那是一门尝试科学——咱们已经沉构了四次智能体框架，屡屡皆是正在发明更佳的高低文塑制办法以后。咱们密切天将这类架构搜刮、提醒调劣战经历推测的脚动历程称为"随机钻研死降落"。那没有文雅，但是有用。

原文分享咱们颠末自己的"SGD"（"Stochastic Gradient Descent"（随机梯度降落，SGD），网站华文翻译是"随机钻研死降落" 。。。）到达的部门最劣解。假设您在建立自己的AI智能体，尔期望那些绳尺能辅佐您更快支敛。
环绕KV-Cache设想

假设尔必需挑选一个目标，尔觉得KV慢存掷中率是消耗级AI智能体最主要的简单目标。它间接作用提早战本钱。要理解启事，让咱们瞅瞅典范智能体的运做方法：

领受用户输出后，智能体颠末一系列东西使用去完毕任务。正在屡屡迭代中，模子鉴于目前高低文从预约义的行动空间当选择一个行动。该行动随即正在情况中施行（比方Manus的假造机沙箱）以发生察看成果。行动战察看被逃减到高低文中，组成下一次迭代的输出。那个轮回连续到任务完毕。

能够设想，高低文跟着每步增加，而输出——一般为构造化的函数挪用——绝对较短。那使患上智能体中前缀添补息争码之间的比率比拟谈天机械人严峻歪斜。比方，正在Manus中，均匀输出输出令牌比约为100:1。

幸运的是，具备差异前缀的高低文能够使用KV慢存，那年夜年夜削减了尾令牌时间（TTFT）战拉理本钱——不管您使用自托管模子仍是挪用拉理API。咱们谈论的没有是小额节流：以Claude Sonnet为例，慢存输出令牌本钱为0.30美圆/百万令牌，而已慢存的本钱为3美圆/百万令牌——出入10倍。



从高低文工程的角度去瞅，进步KV慢存掷中率涉及多少个枢纽实践：

1.坚持 提醒前缀颠簸：因为LLM的自返回性子，即使单个令牌的差别也会使从该令牌开端的慢存生效。一个罕见毛病是正在体系提醒收尾包罗时间戳——出格是精确到秒的时间戳。确实，那让模子能报告您目前时间，但是也会杀逝世您的慢存掷中率。2. 使高低文仅逃减：制止改正以前的行动或者察看。保证序列化是肯定性的。很多编程语言战库正在序列化JSON工具时没有包管颠簸的键排序，那可以悄无声气天破坏慢存。3. 正在需要时隐式标识表记标帜慢存断面：一点儿模子供给商或者拉理框架没有撑持主动删质前缀慢存，而是需要正在高低文中脚动拔出 慢存断面。分派那些断面时，要思考潜伏的慢存过时，最少保证断面包罗体系提醒的末端。

别的，假设您使用vLLM等框架自托管模子，保证启动前缀/提醒慢存，并使用会话ID等手艺正在散布式事情器间不合路由恳求。
掩码，没有要简略

跟着智能体负担更多才气，其行动空间天然变患上越发庞大——简行之，东西数目爆炸性增加。近来MCP的流行不过推波助澜。假设您许可用户设置东西，相信尔：总有人会将数百个奥妙东西拔出 您经心筹谋的行动空间。成果，模子更可以挑选毛病行动或者采纳高效路子。简而行之，您的沉拆智能体变愚了。

天然反响是设想静态行动空间——或许使用类似RAG的方法按需减载东西。咱们正在Manus中也测验考试过。但是咱们的尝试表白一个大白划定规矩：除非绝对须要，制止正在迭代中静态增加或者简略东西。主要有二个启事：

1. 正在年夜大都LLM中，东西界说正在序列化后位于高低文前端四周，凡是正在体系提醒以前或者以后。因而所有变动城市使统统后绝行动战察看的KV慢存生效。2. 当以前的行动战察看仍然引用目前高低文中再也不界说的东西时，模子会猜疑。不束缚解码，那凡是招致情势背规或者幻觉行动。

为了处置那个成就共时仍然改良行动挑选，Manus使用高低文感知形状机去办理东西可用性。咱们没有简略东西，而是正在解码期间掩码令牌logits去避免（或者自愿）鉴于目前高低文挑选某些行动。



正在实践中，年夜大都模子供给商战拉理框架撑持某种方法的照应预添补，那许可正在没有改正东西界说的情况下束缚行动空间。凡是有三种函数挪用情势（咱们使用NousResearch的Hermes格局动作例子）：

• 主动 – 模子能够挑选挪用函数或者没有挪用。颠末仅预添补复兴前缀完毕：<|im_start|>assistant

• 必须 – 模子必需挪用函数，但是挑选没有受束缚。颠末预添补到东西挪用令牌完毕：<|im_start|>assistant<tool_call>

• 指定 – 模子必需从一定子散挪用函数。颠末预添补到函数名收尾完毕：<|im_start|>assistant<tool_call>{"name": "browser_

使用那个，咱们颠末间接掩码令牌logits去束缚行动挑选。比方，当用户供给新输出时，Manus必需立即复兴而没有是采纳行动。咱们借成心设想了具备不合前缀的行动称呼——比方，统统浏览器相干东西以browser_收尾，号令止东西以shell_收尾。那让咱们能够轻快自愿智能体只从给定形状的某个东西组当选择，而无需使用无形态的logits处置器。

那些设想有帮于保证Manus智能体轮回连结颠簸——即使正在模子启动的架构下。
使用文献体系动作高低文

现代前沿LLM现在供给128K令牌或者更多的高低文窗心。但是无理念天下的智能体场景中，那凡是不敷，偶然以至是承担。有三个罕见痛面：

1.察看 可以很宏大，出格是当智能体取网页或者PDF等非构造化数据接互时。很简单超越高低文限定。2. 模子功用常常正在超越某个高低文少度后降落，即使窗心手艺上撑持它。3. 少输出很高贵，即使有前缀慢存。您仍然要为传输战预添补每一个令牌付费。

为了应付那个成就，很多智能系统统施行高低文截断或者收缩战略。但是过于保守的收缩不成制止天招致疑息丧失。成就是底子性的：智能体素质上必需鉴于统统先前形状猜测下一个行动——而您没法可靠猜测哪一个察看正在十步后可以变患上枢纽。从逻辑角度瞅，所有不成顺收缩皆有危急。

那即是为何咱们将文献体系望为Manus的最终高低文：巨细无限、素质耐久，而且智能体自己能够间接操纵。模子教会按需写进战读与文献——将文献体系不但用做保存，借用做构造化的内部化影象。

咱们的收缩战略老是设想为可规复的。比方，只要保存URL，网页实质就能够从高低文中简略，只要路子正在沙箱中仍然可用，文档实质就能够简略。那许可Manus耽误高低文少度而没有永久丧失疑息。

正在开辟那个功用时，尔发明自己正在设想形状空间模子（SSM）正在智能体树立中有用事情需要甚么。取Transformer差别，SSM缺少完整留神力而且正在少程反背依靠圆里有艰难。但是假设它们能把握鉴于文献的影象——内部化持久形状而没有是正在高低文中连结——那末它们的速率战服从可以解锁新一类智能体。智能体SSM可以是神经图灵机的真实承袭者。
颠末违诵操控留神力

假设您使用过Manus，您可以留神到一点儿奇特的工作：处置庞大任务时，它偏向于创立todo.md文献——并跟着任务平息逐步革新，勾选完毕的名目。

那不但仅是亲爱的举动——那是操控留神力的决心体制。



Manus中的典范任务均匀需要约50个东西挪用。那是一个少轮回——因为Manus依靠LLM截至决议计划，它简单偏偏离中心或者忘记晚期目标，出格是正在少高低文或者庞大任务中。

颠末不竭沉写待处事项列表，Manus将其目标违诵到高低文开端。那将全部方案拉进模子的短期留神力范畴，制止"丢失正在中心"成就并削减目标错位。理论上，它使用天然语言偏向自己对于任务目标的存眷——无需特别架构变动。
保存毛病实质

智能领会出错误。那没有是缺点——那是幻想。语言模子会发生幻觉，情况前去毛病，内部东西举动非常，意外边沿情况经常呈现。正在多步任务中，失利没有是破例；它是轮回的一部门。

可是，一个罕见激动是躲藏那些毛病：清理追踪，沉试行动，或者沉置模子形状并寄期望于奇异的"温度"。那觉得更宁静、更可控。但是那是有价格的：抹除失利即是移除凭证。不凭证，模子没法适应。



按照咱们的经历，改良智能体举动最有用的办法之一出人意料天简朴：正在高低文中保存毛病转背。当模子瞅到失利行动——和成果察看或者仓库追踪——它隐式革新其内部决意。那将其先验从类似行动直达移，削减重复异常毛病的时机。幻想上，咱们相信毛病规复是真实智能体举动最明了的目标之一。可是，它正在年夜大都教术事情战大众基准中仍然代表性不敷，那些凡是存眷幻想前提下的任务胜利。
没有要陷入Few-shot骗局

Few-shot提醒是改良LLM输出的罕见手艺。但是正在智能系统统中，它可以以奇妙的方法拔苗助长。

语言模子是优良的模仿者；它们模仿高低文中的举动情势。假设您的高低文布满类似的已往行动-察看对于，模子会偏向于依照谁人情势，即使再也不是最劣的。

那正在涉及重复决议计划或者行动的任务中可以很危急。比方，使用Manus辅佐检查一批20份简用时，智能体经常陷入节奏——重复类似行动只是因为那是它正在高低文中瞅到的。那招致漂移、过分泛化或者偶然发生幻觉。

处置计划是增加百般性。Manus正在行动战察看中引进多量构造化变革——差别的序列化模板、替换说话、挨次或者格局的纤细噪声。这类受控随机性有帮于突破情势并调解模子留神力。换句话道，没有要让few-shot把自己困正在老路上。您的高低文越分歧，您的智能体便越懦弱。
论断

高低文工程仍然是一门新兴科学——但是对于智能系统统来讲，它已经是必须的。模子可以变患上更强、更快、更自制，但是再多的本初才气也没法替换对于影象、情况战反应的需要。您怎样塑制高低文终极界说了您的智能体怎样举动：运行多快、规复多佳、扩大多近。

正在Manus，咱们颠末重复沉写、逝世胡共战跨数百万用户的实在天下尝试教到了那些经验。咱们正在那里分享的皆没有是遍及真谛——但是那些是对于咱们有用的情势。假设它们能辅佐您制止哪怕一次疾苦的迭代，那末那篇文章便完毕了它的任务。

智能体的未来将一次一个高低文天建立。佳佳工程化它们。

---

参照链交：Context Engineering for AI Agents: Lessons from Building Manus ， https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus

复兴【智能体】，会商钻研智能体手艺、智能体仄台战智能体弄钱。

实在后端工程师转型AI大师，有许多胜利的例子。下一篇，尔筹算写一下Gemini的研收之路，聊聊Jeff Dean是怎样从掌舵google的年夜数据三驾马车中心根底装备研收，转型到google年夜脑担当人，干出Gemini如许能跟chatGPT对抗的AI多模态神器。Jeff Dean，YYDS！

尔是刀哥，年夜厂架构师，出海守业者，深入钻研AI东西战AI编程。存眷尔，理解更多AI常识！