职贝云数AI新零售门户

标题: 为什么大模型会＂胡说八道＂?一篇文章说清AI幻觉的真相 [打印本页]

---

作者: vW5815vcl    时间: 9 小时前
标题: 为什么大模型会＂胡说八道＂?一篇文章说清AI幻觉的真相
为什么大模型会"胡说八道"？一篇文章说清AI幻觉的真相

你有没有遇到过这样的状况：问AI一个历史成绩，它回答得头头是道，但你一查发现全是错的？这就是传说中的"AI幻觉"。明天我们来聊聊，为什么AI会一本正派地胡说八道。

---

什么是AI幻觉？


简单来说，AI幻觉就是大模型生成看起来合理、但实践上是错误或虚拟的内容。

比如：

编造不存在的论文援用给真实人物安上虚伪的阅历把两个不相关的事情强行联络在一同信誓旦旦地给出错误的数据

最可怕的是，AI说这些话的时分，语气非常自信，让你很难怀疑它的真实性。

---

幻觉产生的根本缘由


要了解幻觉，我们先要知道大模型是怎样工作的。
1. 大模型本质上是个"文字接龙"机器


大模型（比如GPT、Claude、Kimi）的核心才能，是预测下一个词该是什么。

比如你输入"中国的首都是"，模型会计算：

"北"的概率：95%"上"的概率：2%"广"的概率：1%

然后选择概率最高的词继续生成。

成绩就出在这里：模型并不"知道"什么是真的，它只是根据训练数据中的统计规律来猜。
2. 训练数据的"锅"


大模型是在海量互联网文本上训练的，而这些数据：

（1）本身就有错误

网上充斥着虚伪信息、谣言、过时内容模型学出来了，自然也会输入错误

（2）知识有截止工夫

GPT-4的知识截止到2024年终你问它之后发生的事，它只能"编"

（3）数据分布不平均

抢手话题材料多，冷门话题材料少冷门成绩上，模型更容易"瞎蒙"

3. 模型的"自信病"


研讨发现，大模型普遍过度自信。

即便不确定答案，它也会给出一个看起来威望的回复，而不是说"我不知道"。

这是由于：

训练目的鼓励"流利、连接"的回答"我不知道"在训练数据中很少见模型被优化去"完成"对话，而不是"核实"理想

4. 留意力机制的副作用


大模型用"留意力机制"来了解上下文。这带来一个成绩：

模型会过度关注你发问中的关键词，然后强行把这些词和训练记忆中的相关内容拼凑在一同。

比如你问"爱因斯坦和毕加索的关系"，模型能够编造出两人见面的故事——由于它在训练数据里见过这两个名字，就自动把它们关联起来了。

---

幻觉的几种典型类型

类型	阐明	例子
理想性幻觉	编造不存在的理想	说某部电影获得了不存在的奖项
来源幻觉	虚拟援用和出处	编造看起来像真的论文援用
逻辑幻觉	推理过程出错	前提正确，结论莫明其妙
分歧性幻觉	前后矛盾	后面说A，后面说非A

---

我们能做什么？


虽然完全消弭幻觉很难，但可以降低风险：
对普通用户：

重要信息要核实 — 别把AI回答当威望让AI阐明来源 — 问"你的信息来自哪里"分步骤发问 — 复杂成绩拆成几步，减少出错交叉验证 — 同一个成绩问不同模型，对比答案

对开发者：

RAG技术 — 让AI先查材料再回答，而不是靠记忆理想核查 — 用外部数据库验证关键信息降低温度参数 — 让输入更保守、更少"发挥"明白标注不确定 — 训练模型学会说"我不确定"

---

写在最后


AI幻觉不是bug，而是大模型工作原理的固有特性。

它像一面镜子，照出了人类言语的复杂和模糊。模型只是学会了我们的说话方式——包括我们犯错的方式。

最好的态度是：善用AI的才能，但保持独立的判别。

毕竟，会犯错的工具依然是工具，会思索的人类才要做决议。

---

本文仅供科普，如有错误，那能够也是人类的幻觉 😄

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5