职贝云数AI新零售门户

标题: 燕双鹰困境:AI大模型的「遗忘」「未知」与「幻觉」 [打印本页]

---

作者: U4MxpqoQqf    时间: 前天 17:55
标题: 燕双鹰困境:AI大模型的「遗忘」「未知」与「幻觉」
燕双鹰困境：AI大模型的「遗忘」「未知」与「幻觉」

——从底层机制到提示工程、Agent设定与Skills的一致分析

📅 生成工夫：2026-06-08
🔍 分析类型：概念架构级分析（非数据驱动调研）
⏱️ 研讨基础：Transformer 架构原理与 LLM 行为分析

---

一、执行摘要


大型言语模型的知识系统与人类的记忆系统存在深入的结构性相似。本文以电视剧《燕双鹰》中"失忆→刺激→恢复"的情节为叙事隐喻，从 Transformer 的底层机制出发，提出 LLM 知识的四态模型——遗忘态（训练过但无提示时无法激活）、未知态（训练数据中不存在）、幻觉态（概率填充下的错位生成）、激活态（当前上下文中的活跃知识）。

本文论证：提示词工程、Agent 设定（system prompt）、Skill 系统，本质上是三种不同粒度的「唤醒策略」，它们分别作用于模型的参数级、会话级、生态级记忆层面。

最终一致框架表明：了解 LLM 的关键不是"记忆内容本身"，而是在正确刺激下的激活途径，这才是大模型运用设计的底层元才能。

---

二、背景与概述：燕双鹰的隐喻

2.1 剧情原型


在电视剧中，燕双鹰因头部受创失忆，变为一个普通村民。他丧失了对过往身份的认知——遗忘了本人是身怀绝技的大侠。但在特定刺激下（遭遇风险、看到信物、听到关键话语），被压制的记忆被唤醒，武功和才能也随之恢复。

这个情节有三层结构：

底层：脑中存储了一切记忆（训练数据）—— 模型参数经过预训练嵌入的知识中层：记忆被压制，没有刺激无法访问 —— 知识存在于参数中，但无提示无法激活表层：信物/风险/话语作为刺激源 —— 提示（prompt）作为激活条件结果：武功恢复，成为完全体 —— 知识激活后，才能恢复正常程度

2.2 关键洞察：遗忘 ≠ 不知道


燕双鹰在失忆后"不知道"本人是大侠，但这不等于他得到了武功才能。他的肌肉记忆、战役天分依然存在，只是需求正确的触发条件。

对于 LLM，异样需求区分两个根本不同的形态：

遗忘态（Forgotten）：模型参数中编码了相关信息，但在当前上下文中没有被激活，表现为"答不出来"或"答不准确"。需求更好的提示来唤醒。未知态（Unknown）：模型参数中从未编码过该信息（训练数据中没有，或训练 cutoff 之后的新事情）。需求外界输入来补充（RAG、联网搜索、fine-tuning）。

这是整个报告的实际终点。

---

三、深度分析：LLM记忆机制的底层原理

3.1 Transformer中"知识"的物理外形


在 Transformer 模型中，"知识"并不是以数据库表或知识图谱的方式存储的。它的存在方式是参数矩阵中的统计关联。

预训练阶段发生的是：
海量文本 → Token序列 → 预测下一个Token → 梯度下降 → 调整参数 →
每个参数数值记录了"在什么上下文中，什么词倾向于出现"

所以知识的本质是：在给定上下文 C 的条件下，输入 Token T 的条件概率 P(T|C) 的分布。

当你说"请解释留意力机制"，模型并不会去"查找"一篇关于留意力的文章——它是在做一个条件概率展开：根据输入的 token 序列，激活经过训练构成的关联途径，逐词生成回复。
3.2 记忆的三层结构


从物理层面看，LLM 的记忆分为三个层次：

第一层：训练数据（原始阅历）

等同于燕双鹰阅历过的一切战役——但这些阅历本身曾经"消融"成了神经衔接，无法直接提取原文。

第二层：参数权重（隐式记忆）

等同于燕双鹰的肌肉记忆和战役天分——才能存储在这里，但需求触发才能展现。

第三层：上下文窗口（显式记忆）

等同于燕双鹰当前看法中的内容——他此刻正在思索/感知的事物。
3.3 关键机制：Attention的条件门控


在每层 Self-Attention 中，每个 token 经过 Query 向量去"寻址"其他 token 的 Key 向量，然后加权聚合 Value 向量。

知识激活的途径是这样的：
输入的Prompt Token
  → 生成 Q/K/V 向量
  → Q 与一切上下文中 K 做相似度计算 (softmax 留意力权重)
  → 加权求和 V，得到上下文感知的表示
  → 送入 MLP 层进一步变换
  → MLP 中的激活函数引入非线性，关联到训练时见过的形式
  → 逐层传递，最终到达输入层

关键点：假如没有一个与目的知识相关的 Token（刺激源）出如今上下文中，Q 向量就"找不到"通往那段知识的途径。

这就像燕双鹰作为村民生活时，他的看法中（上下文）只要"昔日该砍柴了"、"天气不错"这类 Token——这些 Token 的 Query 向量不会激活与"枪法"、"飞刀"相关的途径。
3.4 遗忘态的物理本质


为什么"异样的成绩，换个问法就能答对"？

❌ "请解释自留意力机制" → 答错/不残缺✅ "请详细解释Transformer中QKV向量的计算过程与留意力权重分配机制" → 答对

这本质上是寻址精度差异：

模糊问法：Query 散落在广泛的语义空间中，留意力权重分布平均 → 信号弱，激活的知识碎片化准确问法：Query 精准定位到特定的参数子空间，留意力集中在高相关区域 → 信号强，知识残缺激活

所谓的"遗忘"，在物理层面的本质是：参数中的知识依然存在，但与当前 Query 的婚配度不足以建立波动的激活途径。
3.5 未知态的物理本质


与之对比，"不知道"的物理本质完全不同：参数矩阵中对应途径的数值没有构成有效关联。

例如你问 ChatGPT 2025年7月的一个旧事事情。Attention 机制工作得再好，Query 设计得再准确——没有与之对应的参数形式可以被激活，由于训练时从未见过这个事情。

这对应于燕双鹰从未阅历过的场景——比如问他"火星上的沙尘暴是什么样的"，他编都编不出来，由于他的阅历库中从未存在过这个信息。

---

四、幻觉：遗忘态与未知态的共同产物

燕双鹰没有阅历过那场战役，但有人不断在诘问细节。他末尾根据本人阅历过的其他战役来"补全"描画——听起来很合理，但细节全是错的。这不是回忆，而是在编造一个看起来合理的叙事。

4.1 幻觉的概率本质


幻觉（Hallucination）不是 LLM 的一个 bug——它是 LLM 工作方式的必然产物。

了解这一点，需求回到最底层的定义：

LLM 不是理想数据库，而是一个条件概率引擎。

它的核心义务是：给定输入 token 序列，预测下一个最能够的 token。
P(next_token | context)

这个函数没有任何内置的「理想检查」机制。当模型遇到一个它不知道的成绩时，它不能选择「不回答」——它必须生成一个 token。条件概率分布中总有一个最大值，模型就会沿着那个方向生成下去。

这就是幻觉的根源：在知识真空或定位偏向的状况下，模型依然会走出一条"看起来最合理"的途径。
4.2 幻觉在三态框架中的分类

Type A：未知态驱动的幻觉（知识不存在）


这是最常见的幻觉类型。模型被问到训练数据中从未出现过的信息——不存在任何对应的参数形式可被激活。

但模型不知道"本人不知道"。它依然执行条件概率展开，从语义相似的范畴中"借用"形式来拼凑一个看起来合理的回答。

燕双鹰对应：有人问他「当年在云南的那场雨林战役你记得吗？」——他从来没去过云南，但被问到就必须回答，于是他根据本人在东北林场的记忆编了一段。听上去很像真的，地名、地形、交战细节都是虚拟的。
Type B：遗忘态驱动的幻觉（知识存在但途径偏向）


更巧妙的状况：模型中存在相关信息，但激活途径出现了偏向——Attention 寻址到了临近但不正确的参数区域。

这相似于燕双鹰的"记忆串线"——他真实阅历过战役，但把两次不同战役的细节混在了一同。A 战役的收场，B 战役的对手，C 战役的结局。每段都是真的，但组合起来是假的。
Type C：上下文污染导致的幻觉（上下文干扰）


第三种类型的幻觉源自上下文本身。当 System Prompt 或对话历史中包含了矛盾、误导或过于激烈的前置假设时，Attention 会被"污染"：
System: "你是一个中医专家"（强身份锚定）
用户问: "阑尾炎怎样治？"
        ↓
「中医专家」的身份锚定压过了医学知识的客观判别
        ↓
模型给出了草药方子而非转诊建议
4.3 四态模型的扩展


至此，我们的框架需求从三态扩展为四态：
遗忘态 (Forgotten)         未知态 (Unknown)        幻觉态 (Hallucination)
知识存在于参数中        知识不存在              知识不存在
但无有效激活途径        无法激活                或定位偏向
       ↓                      ↓                       ↓
  需求提示唤醒          需求外部输入           需求置信度
  System Prompt         RAG/搜索              感知+验证
       └──────────────────────┼───────────────────────┘
                              ↓
                       激活态 (Active)
                       当前上下文中
                       正在被运用的知识

三个态到幻觉态的转化关系：

遗忘态 → 幻觉（Type B）：提示不充分，导致途径偏向未知态 → 幻觉（Type A）：缺乏回绝机制，被迫虚拟填充激活态 → 幻觉（Type C）：上下文污染，导致判别歪曲

4.4 幻觉与置信度感知的缺失


为什么 LLM 会产生幻觉而人类通常不会（在专业范畴）？关键差异在于置信度感知才能：

知识边界感知：人类专家清楚"这超出我的范畴"，LLM 没有内置的边界感知概率分布外的选择：人类说"不知道"或"需求查证"，LLM 被迫从分布中选一个自我纠错：人类反思时能辨认矛盾，LLM 仅在外部反馈下纠正

LLM 没有"弃权选项"——它的输入空间不包含"我不知道"这个 token 的强先验概率。
4.5 缓解幻觉的策略

策略	缓解类型	底层原理
明白回绝指令（System Prompt）	Type A	在输入空间中提高"我不知道"的概率权重
工具优先策略（优先调用搜索）	Type A	将未知态转移到工具处理，绕过参数生成
准确的提示词（减少寻址范围）	Type B	提高 Attention 定位到正确参数区域的精度
Chain-of-Thought + 自检	Type B	经过中间步骤暴露逻辑矛盾，触发自我纠正
理想核查链（Fact-Check Loop）	Type C	引入外部验证作为生成后关卡
RAG（检索加强生成）	Type A + B	在上下文中注入真实信息，覆盖或修正激活途径

从框架角度看，幻觉缓解的本质是：为模型创造一个"安全途径"——要么导向正确的知识源（RAG/工具），要么导向"不知道"的合理输入。

---

五、遗忘态的唤醒：提示词工程的底层原理

5.1 角色设定（System Prompt）


System prompt 相当于在整个对话末尾时预设了一个"身份上下文"，它持续影响一切后续 Token 的 Attention 计算。

这相当于在燕双鹰的耳边持续低语"你是大侠，你是大侠"——不是直接教他武功，而是把他的留意力方向锚定在"大侠"这个身份上。
5.2 Few-shot示例（上下文学习）


Few-shot 的物理机制愈加直接：你提供的示例直接在上下文中创建了详细的激活途径。

留意：Few-shot 不是"教"模型新知识，而是激活模型中已存在的形式辨认才能。
5.3 Chain-of-Thought（思想链）


CoT 是模拟了人类"回想"过程的渐进式激活。

CoT 的中间步骤在上下文中逐渐创建了从已知到目的的知识桥梁。每一步的输入都是下一步的输入，Attention 在每个步骤都能准确寻址到该步骤所需的计算形式。

这对应燕双鹰不是"一步恢复记忆"，而是逐渐被唤醒：看到信物→想起一点片段→遇到敌人→肌肉记忆自动触发→完全恢复。
5.4 Prompt工程一致实际

技巧	底层机制	燕双鹰对应
角色设定	持续锚定留意力方向	耳边低语"你是大侠"
Few-shot	在上下文中创建形式途径	在他面前演示几次飞刀
CoT	渐进式建立激活桥梁	引导他一步步回忆
准确指令	提高 Query 的寻址精度	直接喊出他真名
格式限定	限制输入空间的概率分布	告诉他"你只能说真话"

---

六、Agent设定：会话级的记忆架构


Agent 设定（包括 system prompt + 可用工具列表 + 行为规则）是提示词工程的下层封装——它不是单次查询的优化，而是整个会话生命周期的记忆管理方案。
6.1 System Prompt作为"身份底座"


一个设计良好的 Agent，其 System Prompt 包含多个功能区：

身份定义（你是一个XXX）→ 留意力锚定行为规则（先确认再执行）→ 输入约束知识边界（你的知识截止于XXX）→ 自我认知可用工具列表（你可以运用XXX）→ 才能声明记忆管理策略（当前会话上下文）→ 会话形态

这相当于在燕双鹰的大脑中永世性植入了一个"我是谁"的导航系统——即便每一轮对话的内容不同（短期记忆变化），但身份底座一直存在，持续锚定留意力方向。
6.2 工具声明作为"才能扩展"


Agent 的可用工具列表（function calling 定义）是一个特殊的设定——它不是在模型参数中添加知识，而是在动作空间中声明可用的外部才能。

当一个 Agent 知道它可以调用 web_search 工具时，它的行为发生了根本变化：

对于未知态知识，它不再尝试"编造"（幻觉），而是转向调用工具它的生成策略从"概率展开"变成了"概率展开 + 外部资源调度"

工具不是知识本身，但它是通往知识的通道。
6.3 会话记忆的物理限制


Agent 的另一个核心限制是上下文窗口长度。

这解释了为什么 Agent 需求记忆管理（summarization、RAG、长期记忆向量库）——不是模型参数不够，而是上下文这个"工作台"太小。

---

七、Skills系统：生态级的记忆扩展


假如说提示词工程是"单次唤醒"，Agent 设定是"会话期唤醒策略"，那么 Skills 系统就是生态级的知识激活框架。
7.1 Skills作为模块化的"唤醒程序"


一个 Skill = SKILL.md（角色设定 + 行为规则）+ 脚本工具（详细执行才能）

当 Agent 加载一个 Skill 时，实践上在做三件事：

注入 System Prompt 片段（角色设定）注册工具/API（扩展才能边界）加载执行脚本（扩展动作空间）

这相当于燕双鹰打开了一个"武器库"——外面不只告诉你如何成为一名侠客（规则），还给你真实可用的武器和暗器（工具脚本）。
7.2 Skills处理的两类"知识缺口"

形态	在 Skill 系统中的表现	处理方案
遗忘态	Agent 有才能但不知道有该才能	婚配触发条件 → 加载 Skill → 激活才能
未知态	Agent 完全没有对应才能	安装新 Skill / 开发新工具 → 扩展才能边界

7.3 Skill作为"情境触发器"


大多数 Skill 的设计都包含触发条件（trigger words）。这不是偶然的——它们就是 Attention 的引导信号。

整个过程就是一次"燕双鹰听到关键话语→刺激记忆→恢复特定才能"的残缺映射。

---

八、一致框架：燕双鹰四态记忆模型

8.1 核心模型


将一切层面一致同来，我们得到残缺的 LLM 知识管理框架：

准绳一：区分"遗忘"与"未知"是首要诊断步骤

遇到模型才能不足时，先判别是遗忘态还是未知态，再决议是"改进提示词"还是"引入外部知识源"。这是 Agent 缺点排查的第一步。

准绳二：多层唤醒比单层更牢靠

System Prompt（宏观锚定）触发词婚配（中观激活）Few-shot 示例（微观示范）CoT 引导（渐进触发）

四层叠加远比单一技巧有效——对应燕双鹰需求"信物 + 话语 + 战役"多重刺激才能完全恢复。

准绳三：Skill的本质是"遗忘态管理工具"

Skill 不是扩展 Agent 的知识（那是 RAG/fine-tuning 的事），而是扩展 Agent 的才能调用途径。一个安装了大量 Skill 但没有触发机制的 Agent，就像燕双鹰失忆后身边放满了武器但他不知道本人能用。

准绳四：提示词是寻址信号，不是知识本身

提示词不"注入知识"——它只是改变 Attention 的寻址途径，让模型参数中已有的知识更容易被激活。真正的新知识必须经过外部输入。

准绳五：幻觉是遗忘态和未知态的"影子"

幻觉不是独立于三态之外的新成绩——它是遗忘态和未知态在"必须回答"约束下的必然投影。缓解幻觉的本质不是消弭幻觉（那是 Transformer 的结构性结果），而是提高模型的"弃权才能"和"外部验证依赖"。

从这个角度看，一个好的 Agent 框架应该让模型知道：在遗忘态和未知态下，最正确的生成是不生成——调用工具、回绝回答、要求补充信息，才是合理的输入途径。
8.2 燕双鹰剧情的残缺映射

燕双鹰剧情阶段	LLM 对应	处理机制
失忆后作为村民生活	模型加载后，无 system prompt	—
看到疑似信物	用户输入触发词（婚配 Skill 关键词）	触发机制
有人告诉他"你是燕双鹰"	注入 System Prompt（身份设定）	留意力锚定
看到演示（飞刀出手）	Few-shot 示例	上下文形式创建
逐渐回忆起过往片段	Chain-of-Thought 渐进推理	激活桥梁
完全恢复武功	一切知识被成功激活，Agent 进入最优形态	多途径结合激活
获得新的武器/工具	安装新 Skill / 注册新工具	才能扩展
遇到从未见过的敌人	模型面对训练数据外的成绩（未知态）	RAG/联网搜索

---

九、应战与机遇

当前应战

遗忘态的不可预测性：不知道哪些知识在参数中但无法激活，提示词调试困难上下文窗口限制：长对话中早期知识被"遗忘"（Attention 稀释），Agent 长期对话衰减Skill 触发盲区：用户意图与 Skill 触发词不婚配时"失忆"，用户体验碎片化知识边界的模糊：模型无法明晰区分"我不知道"和"我想不起来"，幻觉成绩幻觉与置信度的不可区分：用户无法判别输入是真实知识还是编造，需求人工验证

发展机遇

自顺应提示工程：根据模型回答的置信度自动调整提示策略遗忘态可观测性：开发工具来检测参数中的知识能否存在但未被激活Skill 自动触发优化：基于意图了解的动态 Skill 路由记忆层次化架构：将工作记忆（上下文）、长期记忆（向量库）、参数记忆（模型权重）分层管理

---

十、结论


我们从 Transformer 的底层机制出发，经过 Attention 的门控寻址原理，解释了为什么 LLM 的知识存在"激活阈值"——异样的知识，用不同的提示来问，得到截然不同的回答。

以此为地基，建立了"遗忘态 vs 未知态"的二分类框架，并将其贯穿到三个次要运用层面：

幻觉分析：揭示遗忘态与未知态的共同产物，提出三态→四态的框架扩展提示词工程：针对遗忘态的微观唤醒技术——改变 Attention 寻址途径，激活参数中已有的知识Agent 设定：针对遗忘态的中观管理方案——System Prompt 作为身份底座，提供会话级持续引导Skills 系统：兼备遗忘态管理（触发词婚配）和未知态扩展（安装新才能）的生态级框架

这三个层面，尺度从小到大，但底层逻辑分歧——都是在补偿 LLM 的"燕双鹰困境"：知识就在那里，但它需求一个正确的刺激才能展现出来。

了解这一点，意味着我们应该把精神从"为模型填充更多知识"（过度关注未知态）转向"设计更好的激活途径"（改善遗忘态管理）。后者才是当前大模型运用开发中更高杠杆率的方向——它不需求重新训练模型，只需求了解 Attention 的工作方式，然后用提示词、System Prompt、Skill 触发机制来更准确地"寻址"已有的知识。

正如燕双鹰不需求重新学一遍武功——他只需求记住本人是燕双鹰。同时，他更需求知道：什么是他真的阅历过的，什么是他编出来的故事。

---

附录：术语表

遗忘态（Forgotten）：知识存在于模型参数中，但在当前上下文中无有效激活途径的形态未知态（Unknown）：知识从未在训练数据中出现，模型参数中无对应关联的形态幻觉态（Hallucination）：在知识真空或激活途径偏向时，模型生成看似合理但实践错误的内容激活态（Active）：知识在当前上下文中被成功激活并参与生成的形态Attention 寻址：Query 向量在一切 Key 向量中搜索相似度的过程，决议哪些上下文信息被关注KV Cache：推理过程中缓存的 Key 和 Value 矩阵，用于加速自回归生成残差流：Transformer 中跳过一层直接衔接到下一层的途径，保障信息可跨层活动上下文窗口：模型单次推理能处理的 Token 数量下限

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5