跳转到内容

AI 为什么会出错

适用对象:通用 | 状态:✅ 已完成 | 更新于:2026-06-01

AI 答得又快又像样,容易让人以为它”什么都知道”。但只要用得久一点,你一定会撞上一种诡异的情况:它一本正经地胡说八道——给你一篇根本不存在的文献、一个查无此据的数字,措辞却无比自信。

这不是它”偷懒”或”撒谎”。AI 不是魔法,它有自己的工作架构,这些错误是架构带来的、可以预期的。 理解了它怎么工作,你就知道该在哪儿提防它。这一页用大白话讲三件事。

一、它的”脑子”一次只装得下这么多——上下文窗口

Section titled “一、它的”脑子”一次只装得下这么多——上下文窗口”

AI 不是把你说过的所有话、所有文件都永久记着。它有一个有限的”工作记忆”,业内叫上下文窗口——可以想成它面前一张固定大小的桌子,能摊开的材料就那么多。

这带来一个直接后果:一段对话拖得很长、塞进去的东西很多,它就开始”忘事”——忘了你开头的要求,前后说法不一致,甚至自相矛盾。

二、它的”记性”不是你以为的那种

Section titled “二、它的”记性”不是你以为的那种”

人脑记的是”理解了的意思”。AI 的记忆机制完全不同——这正是当前 AI 研究的一个核心难题:怎么让模型在长期、多轮的交互里稳定地记住正确的事、忘掉过时的事。现实是它还做不好:

  • 该记的没记住(你前面交代过的约束,它后面又违反了);
  • 旧信息没更新(你纠正过一次,它过几轮又用回错的版本);
  • 张冠李戴(把 A 文献的结论安到 B 文献头上)。

你不需要懂这些机制的细节,只需要记住一个结论:别把 AI 当成可靠的记忆体。 重要的事实、约束、结论,该写下来的写下来,不要只存在它的”脑子”里。

三、它为什么会”编”——幻觉

Section titled “三、它为什么会”编”——幻觉”

这是最该警惕的一点。AI 本质上是在根据语言规律预测”下一个最像样的词”,而不是在一个真实数据库里查证。所以当它不知道答案时,它不会说”我不知道”,而是会顺着语感编一个读起来最合理的出来

这就是幻觉。它最爱在这几个地方编:

  • 文献引用——编出格式完美、作者像真的、期刊像真的、DOI 像真的,但整篇论文根本不存在;
  • 具体数字——某年某指标多少、某政策影响几个百分点,张口就来,对不上原始数据;
  • 看起来很专业的细节——越具体、越权威的细节,越要小心,因为那正是它最会”演”的地方。

你让 AI 帮你为一篇论文找文献支撑,它给了你 5 篇”高度相关”的参考文献,作者、年份、期刊、页码一应俱全,读起来天衣无缝。

如果你直接抄进参考文献列表——这是很多人栽过的跟头——很可能其中两三篇压根不存在,或者存在但根本没说它声称的那个观点。投稿时被审稿人一眼戳穿,或者更糟,发表后被人发现引用造假。

正确的做法:把这 5 篇每一篇都拿去数据库里搜一遍,搜得到、且原文确实支持你要的观点的,才留下。AI 在这里的价值是帮你扩大视野、提供线索,而不是充当最终的事实来源。


这条红线和数据安全、学术诚信紧密相关,完整的检查清单见 伦理与检查点

下一步:把这条用进协作原则用提示词约束它别乱编看伦理与检查点