职贝云数AI新零售门户

标题: Manus的上下文工程阅历 [打印本页]

---

作者: jro    时间: 4 天前
标题: Manus的上下文工程阅历
Manus 团队分享了他们构建 Agent 的 上下文工程阅历，对于做agent相关工作有一定参考价值。对全文停止了总结和关键信息高亮展现。

Context Engineering for AI Agents: Lessons from Building Manus

背景：为什么押注上下文工程

BERT 时代：必须微调，迭代周期以周计。GPT-3 当前：in-context learning让迭代延长到小时级。

“模型提高是退潮，我们要做 船，不要做 海底的柱子。”

---

1. 围绕 KV-Cache做设计

若只能选一个目的，我会说 KV-cache hit rate是消费级 AI Agent 的 独一关键目的。

1.1 背景

Agent 的典型输入:输入 ≈ 100:1Claude Sonnet 价格对比：

命中缓存：0.30 USD/MTok未命中缓存：3 USD/MTok（10× 差距）

1.2 实际

保持 prompt 前缀相对波动

不要在系统提示扫尾放 秒级工夫戳，否则会 毁坏缓存。

上下文只追加、不修正历史

确保 JSON 序列化是 确定性的（key 顺序固定）。

显式标记 cache breakpoint

在系统提示结束后立刻插入断点。

自托管 vLLM时

启用 prefix/prompt caching运用 session ID保证央求路由分歧。

2. Mask，不要 Remove

避免动态增删工具，否则：

会 失效整个 KV-Cache模型会 困惑，出现幻觉或 schema 违规

(, 下载次数: 0)

上传

点击文件名下载附件

2.1 Manus 方案

不删除工具，而是在 logits 层面 mask掉不需求的 token。三种函数调用形式（Hermes 格式）：

Auto：仅预填 <|im_start|>assistantRequired：预填到 <tool_call>Specified：预填到 "name":"browser_

一切阅读器工具一致以 browser_扫尾，shell 工具一致以 shell_扫尾，便于用前缀 mask。

3. 把 文件系统当作上下文

128K 上下文照旧不够用，且 长文昂贵、易失真。

3.1 痛点

1. 观察结果过大（网页、PDF）。
2. 功能在长上下文下降。
3. 成本高。
3.2 处理方案

文件系统即上下文：有限大小、持久化、Agent 可直接读写。可逆紧缩：

删掉网页注释，只需 URL还在，就能随时恢复。文档内容可省略，只需 文件途径仍在沙盒即可。

(, 下载次数: 0)

上传

点击文件名下载附件

这让我们想到：假如 State Space Model (SSM)也能掌握文件式记忆，也许能成为 Neural Turing Machines的真正继任者。

4. 用 复述操纵留意力

Manus 会创建 todo.md，并在每一步 勾选已完成项。

这不是卖萌，而是 故意机制：

平均义务需 ~50 次工具调用→ 长循环易 遗忘目的。经过 不断重写待办列表，把全局计划 拉入最近留意力窗口，防止 lost-in-the-middle。用自然言语 自我复述来聚焦，无需架构改造。

(, 下载次数: 0)

上传

点击文件名下载附件

5. 保留错误记录

Agents 会犯错，这是理想，不是 bug。

常见冲动：肃清错误、重试、调高 temperature。副作用：抹掉证据→ 模型无法学习。

(, 下载次数: 0)

上传

点击文件名下载附件

5.1 Manus 的做法

把失败留在上下文：让模型看到 失败动作 + 报错栈。模型 隐式更新先验，减少反复犯错。错误恢复才能是真正 agentic behavior 的试金石。

6. 避免 “被 Few-Shot”

Few-shot 能让输入更好，但也能够 让 Agent 堕入形式化。

LLM 是 优秀模拟者：看到反复动作就会 机械复制。例如：批量审 20 份简历，Agent 会 堕入节拍，导致漂移或幻觉。

6.1 处理

引入受控噪声：

不同序列化模板交替措辞细微顺序/格式扰动

打破单调上下文，加强鲁棒性。

不要 few-shot yourself into a rut（别把本人 few-shot 进坑里）。

7. 结论

上下文工程仍是一门新兴迷信，但对 Agent 系统已是 不可或缺。

模型再强，也替代不了 记忆、环境、反馈。如何 塑造上下文决议了 Agent 的 速度、恢复力、扩展性。

在 Manus，我们经过反复重写、探索和数百万用户的真实测试，积累了这些阅历。我们分享的内容并非放之四海而皆准的真理，但这些形式的确对我们有效。假如它们能协助你避免哪怕一次痛苦的迭代，那么这篇文章就发挥了作用。 agent的将来将在一个又一个的context中构建。精心设计它们。

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5