AI的幻覺、失憶與錯亂

寫在前面

綱要：

• LLM 因先天架構而導致其特性——注意力不足。
• 解釋幻覺、失憶與錯亂，三種問題的原因。

AI 的幻覺、失憶與錯亂

日常使用 LLM 或進行長時間的RP，可能會遇到 LLM 突然 「記錯事情」 、 「編造從未發生的劇情」 或 「角色開始前後矛盾」。

這三種現象乍看不同，實則根源相同—— LLM 並不是真的在 「思考」 或 「記憶」 ，它只是在預測 「下一個字最可能是什麼」。

核心原因—— LLM 的運作方式

LLM 進行每次的回應時，都是重新讀取 prompt 跟 「從頭至今所有的對話紀錄」 ，然後開始「接龍」，預測每個產出的文字。

LLM 沒有獨立的記憶體，也無法查核產出的內容是否正確——它只知道 「哪種回應最符合訓練資料的模式」。

這些特性源於 LLM 核心架構（Transformer）的先天侷限：

• 注意力機制（Attention Mechanism）:
  LLM 並非「記住」內容，而是每次生成 token 時重新計算哪些上下文最相關。
  對話過長，遠距離的內容注意力權重會衰減。
• 上下文窗口（Context Window）：
  LLM 一次能處理的 Token 總數有其物理上限。一旦對話內容超出此範圍，舊的資訊會被捨棄，無法進入運算。
• 自迴歸生成（Autoregressive Generation）：
  LLM 是根據前面已出現的文字，依據機率預測下一個字。此過程純屬機率分佈，缺乏內建的事實校驗機制。

白話解釋

幻覺、失憶與錯亂的原因是 「LLM 的注意力不足，且放錯重點」。

試想 LLM 是一個博學但容易分心的學生，它正在參加一場「接龍寫作考試」。

它的任務是根據前面寫過的內容，猜出下一個字是什麼。

而它用來「看題目」和「回憶知識」的能力，就是 「注意力機制」（Attention Mechanism）。

所謂的 「注意力不足」，並不是說它過動，而是指它在處理海量資訊時，無法完美地權衡哪些資訊是重要的、哪些是真實的、哪些是舊的。

三種現象的成因

幻覺（Hallucination）

LLM 在生成時，沒有機制去確認 「這是真的嗎」。 優先選擇（憑空填補） 「聽起來最合理或通順的答案」。

LLM 的注意力被語言的慣性帶偏，忽略了事實的錨點。

在 RP 中，這會表現為：

• 憑空捏造從未發生過的劇情或設定。
• 聲稱某件事 「之前有說過」，但根本沒有。
• 產生不存在的角色、地名、道具。

失憶（Context Loss）

當RP對話因時間積累過長之後，LLM 會開始 「忘記」 前面說過的話或發生過的事。

也許對話超過上下文窗口，沒有輸入；或早期內容的注意力權重太低，導致那些資訊實際上沒有影響到當次生成。

在 RP 中，這會表現為：

• 忘記角色的名字、外貌、性格設定。
• 重複詢問已經解釋過的事情。
• 把很早之前發生過的重要劇情當作不存在。

錯亂（Character Drift / Context Confusion）

角色開始變得前後不一致、丟失特性，甚至混亂。

尤其容易發生在多角色RP中。

LLM 的注意力機制擅長處理 「局部關聯」（這一個字跟那一個字很搭），但不擅長維持 「全局邏輯」。

多重設定互相競爭注意力；對話越長，系統提示（角色設定）相對比重越小，生成結果越容易被對話本身的模式帶偏。

在 RP 中，這會表現為：

• 角色的口吻、個性悄悄改變。
• 同一角色對同一件事態度矛盾。
• 在多角色場景中混淆不同人物的角色設定。
• 長篇 RP 後，角色越來越 「像AI」 而非原本設定。

總結

這三個問題，皆同源於 「注意力資源有限」 與 「權衡能力的極限」：

• 幻覺是因為注意力過度權重了 「像真話」（語言概率），忽略了「是真話」（事實核查）。
• 失憶是因為注意力過度權重了 「新資訊」（近期上下文），忽略了「舊資訊」（遠期上下文）。
• 錯亂是因為注意力過度權重了 「局部通順」（句子內部），忽略了「全局一致」（邏輯整體）。

是無論日常使用 LLM 或進行RP都繞不開的困擾。

假使剛開始新對話，就發覺 LLM 已經產生幻覺或錯亂，語焉不詳、答非所問。

可以直接重新開始新對話，多試幾次。

若是在RP途中產生這些問題。之後會寫RP時與 LLM 交談的技巧，將會介紹解決的方法。