Manus的上下文工程阅历

Context Engineering for AI Agents: Lessons from Building Manus

BERT 时期：必需微调，迭代周期以周计。GPT-3以后 ：in-context learning让迭代耽误到小时级。

“模子进步是涨潮，咱们要干 船，没有要干 海底的柱子。”

若只可选一个目标，尔会道 KV-cache hit rate是消耗级 AI Agent 的 唯一枢纽目标。

Agent 的典范输出:输出 ≈ 100:1Claude Sonnet价钱 比照：

掷中慢存：0.30 USD/MTok已掷中慢存：3 USD/MTok（10× 差异）

连结 prompt 前缀绝对颠簸

没有要正在体系提醒收尾搁 秒级时间戳，不然会破坏 慢存。

高低文只逃减、没有改正汗青

保证 JSON 序列化是 肯定性的（key 挨次牢固）。

隐式标识表记标帜 cache breakpoint

正在体系提醒完毕后立即拔出 断面。

自托管 vLLM时

启动 prefix/prompt caching使用 session ID包管恳求路由不合。

制止静态删增东西，不然：

会生效 全部 KV-Cache模子会 猜疑，呈现幻觉或者 schema 背规

没有简略东西，而是正在 logits 层里 mask失落没有需要的 token。三种函数挪用情势（Hermes 格局）：

Auto：仅预挖 <|im_start|>assistantRequired：预挖到 <tool_call>Specified：预挖到 "name":"browser_

统统浏览器东西分歧以 browser_收尾，shell 东西分歧以 shell_收尾，就于用前缀 mask。

128K 高低文依旧不敷用，且 少文高贵、易得实。

文献体系即高低文：无限巨细、耐久化、Agent 可间接读写。可顺收缩：

增失落网页正文，只要 URL借正在，就可以随时规复。文档实质可简略，只要 文献路子仍正在沙盒便可。

那让咱们料到：假设 State Space Model (SSM)也能把握文献式影象，或许能成为 Neural Turing Machines的真实继任者。

Manus 会创立 todo.md，并正在每步 勾选已经完毕项。

均匀任务需 ~50 次东西挪用→ 少轮回易 忘记目标。颠末不时 沉写待办列表，把全部方案 推进近来留神力窗心，避免 lost-in-the-middle。用天然语言 自尔复述去散焦，无需架构革新。

Agents 会出错，那是幻想，没有是 bug。

罕见激动：消除毛病、沉试、调下 temperature。反作用：抹失落凭证→ 模子没法进修。

把失利留正在高低文：让模子瞅到 失利行动 + 报错栈。模子 隐式革新先验，削减重复出错。毛病规复才气是真实 agentic behavior 的试金石。

Few-shot 能让输出更佳，但是也可以 让 Agent 陷入情势化。

LLM 是 优良模仿者：瞅到重复行动便会 机器复造。比方：批质审 20 份简历，Agent 会 陷入节奏，招致漂移或者幻觉。

引进受控噪声：

差别序列化模板瓜代说话纤细挨次/格局扰动

突破枯燥高低文，增强鲁棒性。

没有要 few-shot yourself into a rut（别把自己 few-shot 退坑里）。

高低文工程还是一门新兴科学，但是对于 Agent零碎 已经是 不成或者缺。

模子再强，也替换没有了 影象、情况、反应。怎样 塑制高低文决定了 Agent 的 速率、规复力、扩大性。