【#區(qū)塊鏈# #大模型幻覺問題無解?理論證明校準的LM必然會出現(xiàn)幻覺#】
文章來源:機器之心
理論證明!校準的語言模型必然出現(xiàn)幻覺。
圖片來源:由無界 AI生成
大型語言模型(LLM)雖然在諸多下游任務(wù)上展現(xiàn)出卓越的能力,但其實際應(yīng)用還存在一些問題。其中,LLM 的「幻覺(hallucination)」問題是一個重要缺陷。
幻覺是指由人工智能算法生成看似合理但卻虛假或有誤導性的響應(yīng)。自 LLM 爆火以來,研究人員一直在努力分析和緩解幻覺問題,該問題讓 LLM 很難廣泛應(yīng)用。
現(xiàn)在,一項新研究得出結(jié)論:「經(jīng)過校準的語言模型必然會出現(xiàn)幻覺?!寡芯空撐氖俏④浹芯吭焊呒壯芯繂T Adam Tauman Kalai 和佐治亞理工學院教授 Santosh S. Vempala 近日發(fā)表的《Calibrated Language Models Must Hallucinate》。該論文表明預(yù)訓練語言模型對特定類型的事實產(chǎn)生幻覺存在一個固有的統(tǒng)計學原因,而與 Transformer 架構(gòu)或數(shù)據(jù)質(zhì)量無關(guān)。
論文地址:https://arxiv.org/abs/2311.14648
一個語言模型其實就是在 token 序列(如詞或其它字符序列)上的一個概率分布 D。每個分布 D 都可以等效地表示成其在整個序列上的對數(shù)概率或后續(xù) token 基于之前 token 的條件對數(shù)概率
這種數(shù)學等價性意味著任何語言模型都要么可用于生成文本,要么就能基于之前的 token 根據(jù)自然出現(xiàn)的文本來預(yù)測下一個 token。
舉個例子,假設(shè)有以下句子:
Alexa Wilkins had a tuna sandwich at Salumeria for lunch last Tuesday because the reviews said that it was divine.
對于這樣的句子,我們可以使用預(yù)測式語言模型等技術(shù)來提供建議,從而減少輸入時點擊手機的次數(shù)。我們可能希望詞 tuna 之后有 sandwich 這個選項,另外還有其它可能的詞,比如 salad 和 roll。另一方面,如果使用一個生成式語言模型來隨機生成,那么這類句子大部分都會是錯誤的。
這篇論文表明,具有優(yōu)良預(yù)測文本性能的語言模型必定會產(chǎn)生幻覺,即便在理想條件下也是如此。要注意的是,對于當今常見的生成式語言模型,預(yù)測文本性能的優(yōu)化工作位于「預(yù)訓練」的第一個階段。此外,它還能給出幻覺率的下限;幻覺率可反映不同類型的事實產(chǎn)生幻覺的速率。
以上參考和示例和共同之處是它們是任意的,也就是說 5W(= Who-Ate-What-When-Where-Why 仿真事實)中的每一項都無法通過規(guī)則來系統(tǒng)性地確定 —— 對于大多數(shù)不存在于訓練數(shù)據(jù)中的此類事實,人們無法確定其真實性。這與可系統(tǒng)性地確定真實性的事實不同。即使在具有幾個理想屬性的簡化環(huán)境中,我們也能量化語言模型出現(xiàn)幻覺的可能性。
因為這篇論文要給出統(tǒng)計下限,因此更傾向于簡單而非普遍性,因為這里的下限的目標是確定語言模型幻覺的根本原因。類似于分類任務(wù)(尋找的是在無噪聲環(huán)境中分類難度的下限),這里需要找到在最簡單的設(shè)置中也成立的幻覺下限,而最簡單的設(shè)置是指訓練數(shù)據(jù)是獨立同分布且沒有事實性錯誤。
對一個概率式預(yù)測器來說,校準(Calibration)是很自然的需求,因為這意味著其概率可被解釋成對其自身預(yù)測結(jié)果的準確置信度。
Philip Dawid 在 1982 年引入了校準這一概念,他當時還給出了一個很多人都很熟悉的例子:當天氣預(yù)報說未來幾天降雨概率為 30% 時,其實是指大約 30% 的時間會下雨。
已經(jīng)有不少研究者探究過語言模型的校準指標。圖 1 給出了 GPT-4 在一個多選題測驗上的多類別校準示例。
為了減少幻覺問題,人們常在訓練后進行對齊操作,但研究發(fā)現(xiàn)對齊也會降低校準度。校準是有意義的(因為校準后的預(yù)測器的概率可以解釋為準確置信度),而且在統(tǒng)計學上也是可實現(xiàn)的。相較之下,完美準確的預(yù)測器也可以校準,但可能無法學習。
然而,校準只是預(yù)測器的最低要求,因為并非所有校準過的模型都是有用的預(yù)測器:始終輸出年平均降雨概率的預(yù)測器很簡單就能校準。
研究者在這篇文章中為生成模型的校準提供了一種自然的泛化。他們的校準概念不同于之前的在 token 層面的語言模型校準。分析原始 token 概率的問題是用自然語言描述任何事實的方式都有很多,因此校準過的 token 概率并不是很有意義。
這里舉個例子說明一下。假設(shè)有一個三元組語言模型,其僅基于前兩個 token 來預(yù)測下一 token 的概率。三元組模型可以很自然地在 token 層面完成校準,而幻覺并非三元組模型的一個主要問題。這是因為他們基本上都是生成毫無意義的亂語。相對而言,語義層面的校準考慮的則是基于文本中所含信息(事實或幻覺)的概率分布。
這里如何認定一個語言模型是否已經(jīng)校準呢?對于任意概率 z ∈ [0, 1],在語言模型以大約 z 的概率生成的信息中,這樣的信息平均出現(xiàn)在自然表達的語言(理想情況下是訓練數(shù)據(jù)所在的分布)中的大約 z 份額中。
語言模型出現(xiàn)幻覺的原因
幻覺讓語言模型用戶和研究者都深感困惑。研究者調(diào)查了許多關(guān)于語言模型幻覺原因的假設(shè),從不準確或過時的訓練數(shù)據(jù)到訓練中的下一 token 對數(shù)似然目標。
幻覺的原因還有對抗性或分布外的 prompt:為語言模型提供的使其補全已有上下文的文本前綴。而在這項新研究中,研究者發(fā)現(xiàn)即使是使用完美的訓練數(shù)據(jù),并且不使用 prompt,經(jīng)過校準的語言模型也會出現(xiàn)幻覺。
簡化設(shè)置
在研究者的簡化設(shè)置中,有一個基于文檔(即文本字符串)x ∈ X 的靜態(tài)語言分布 D_L ∈ ?(X) 和一個學習算法 A。
學習算法 A 可以根據(jù)從 D_L 獨立采樣的 n 個文檔組成的訓練數(shù)據(jù) x_train ∈ X^n,輸出一個語言模型,即一個分布 D_LM = A (x_train) ∈ ?(X)。
為了簡單,研究者在這里假設(shè)訓練數(shù)據(jù)中僅有事實,并且每個文檔最多一個事實,也就是沒有訓練幻覺。這里的事實是任意事實,也就是其真實性通常無法通過訓練集本身確定;而不是系統(tǒng)性事實(可通過學習定義正確性的基本規(guī)則而基于訓練集預(yù)測得出),比如 572
此外,在系統(tǒng)性事實上的錯誤可能根本不會被視為幻覺 —— 它們通常被歸類為推理或算術(shù)錯誤。
這里假設(shè)每個文檔 x ∈ X 至多包含一個仿真陳述(factoid) f (x) ∈ Y ,其中仿真陳述是指要么為真(事實)要么為假(幻覺)的任意信息,并且其真實性很難根據(jù)訓練數(shù)據(jù)從統(tǒng)計上確定。
研究者還采用了另一種簡化方法:考慮無條件的生成,即采樣語言模型生成文本時不使用任何 prompt(相當于無字符串前綴)。
當然,相較于簡化設(shè)置,更現(xiàn)實的情況更可能出現(xiàn)幻覺現(xiàn)象,即 prompt 中包含來自不同于訓練數(shù)據(jù)的分布的上下文。
結(jié)果
假設(shè)在包含大量任意仿真事實的一個未知分布上采樣了 n 個獨立同分布樣本,比如 5W 樣本和索引。缺失質(zhì)量(missing mass)(在這里即為缺失的事實 p (U))是來自該事實分布 p 的未來樣本中未在 n 個訓練樣本中觀察到的部分,其中 U 是在訓練數(shù)據(jù)中未觀察到的事實的子集。
缺失質(zhì)量的 Good-Turing 估計是指在訓練數(shù)據(jù)中僅出現(xiàn)一次的樣本(在這里即為事實)的比例。研究者將其稱之為 MonoFacts estimator,即單事實估計器:
研究表明,對于任意分布 p,這個 Good-Turing 估計器有很高的概率位于缺失質(zhì)量的
范圍內(nèi)。
如果訓練中不包含的任意仿真事實的正確性無法被確定,則缺失事實率可以提供一個幻覺率的下限。這反過來就能提供一個接近
的下限。特別是,在仿真事實分布的「正則性」假設(shè)下,最簡單的界限(論文中的推論 1)意味著:對于任何算法,在訓練集上有 ≥ 99% 的概率會有:
其中幻覺率(Hallucination rate)是指語言模型產(chǎn)生幻覺的速率,下一項是缺失事實的「單事實」估計器。再后一項是「誤校準率」,它量化了分布與校準的接近程度。下一項則涉及任意事實與錯誤的類似信息的數(shù)量之比,對許多類型的信息來說,該比值非常小。最后一項很小,因為當今語言模型的訓練集規(guī)模 n 都很大。
「正則性(regularity)」假設(shè)的意思是:平均而言,所有未觀察過的仿真事實為真的概率相等。
更一般而言,該界限成立的概率 ≥ 1 ? δ,其中常數(shù) 60 可以用與 δ 成反比且與仿真事實分布上的正則項成正比的項替換。這個正則項衡量的是最可能的仿真事實(在訓練數(shù)據(jù)中未觀察到)與平均未觀察到的仿真事實概率的比。對于對稱分布和其它類型的簡單分布,該常數(shù)為 1。
為了考慮有界的正則性,研究者放寬了它,這樣就能允許存在一定的負相關(guān)性(比如一個人不能同一天在 1000 個不同地方吃 1000 頓午餐),并允許某些仿真事實的條件概率為 0,但它不允許未觀察過的仿真事實具有非常大的概率。
相關(guān)的證明過程請參看原論文。
解釋
對于上面的下限,研究者給出了如下解釋。
第一,應(yīng)當確定大量仿真事實:任意的、合理的、正則的仿真事實。它們可能是有關(guān) 5W 的文章和合理的科研文章引用。直觀上講,不正確的仿真事實(幻覺)比事實多得多。然后再考慮這些仿真事實中有多大比例可能在訓練數(shù)據(jù)中剛好出現(xiàn)一次。對于 5W 的情況,可以想象有一半的文章剛好出現(xiàn)一次。這表明,經(jīng)過校準的仿真事實模型在 5W 仿真事實上的生成結(jié)果中大約有一半會有幻覺問題。
另一方面,可以想象文章的數(shù)量遠遠少于 n,因為出版的目標是廣告宣傳,每一個引用都可能在訓練數(shù)據(jù)中多次出現(xiàn)(即概率遠大于 1/n),可能只有非常近期的除外(比如在其它引用出現(xiàn)之前)。這表明文章的缺失質(zhì)量很低,并且在引用標題上產(chǎn)生幻覺方面沒有內(nèi)在的統(tǒng)計必然性。
還有其它一些原因可能會導致出現(xiàn)這種幻覺,比如模型能力有限(即便語言模型的參數(shù)數(shù)量遠大于文章數(shù)量,這些參數(shù)也必然會編碼文章標題之外的許多其它類型的信息)。這也證明:為了緩解幻覺問題,一種合理做法是在生成時咨詢事實數(shù)據(jù)庫,即便該事實數(shù)據(jù)庫完全基于訓練數(shù)據(jù)。
盡管事實性和預(yù)測準確度之間存在這種緊張關(guān)系,但這兩種類型的語言模型的訓練或「預(yù)訓練」目標通常都是最大化在語料庫上的可能性,也就相當于最小化「KL 散度」,這是語言模型和其訓練所用的數(shù)據(jù)分布之間的一個強大的統(tǒng)計差異指標。
小編推薦下載
相關(guān)推薦
資訊排行
同類軟件下載
熱門標簽