第7章 局限不足——工具不是萬能的

??關于ChatGPT的能力應該無需多言，說它開創了一個新時代絕不為過。如今各式各樣的大模型如雨后春筍般涌現，大模型儼然成為下一個增長引擎。不過誠如本書一直以來所秉承的觀點，大模型是強有力的工具，但它并非全能，也無需什么都“大模型”一下，我們要分清楚手段和目的。這也是本書堅持以任務為中心，而非大模型或ChatGPT為中心的原因所在。

??本章我們將從宏觀角度整體了解當前大語言模型的局限和不足，并簡單探討如何克服和優化這些問題。我們盡量討論比較明顯、突出的問題。不過技術發展太快，誰也無法預料今天的問題明天是不是依然是問題。筆者期望本章內容的生命周期能夠盡量長久一些，也期望能拋磚引玉，與讀者共同思考、暢想大語言模型的未來。

7.1 事實錯誤

7.1.1 錯誤示例

??作為當前人工智能產品的巔峰代表，ChatGPT并不是永遠都能那么“睿智”。盡管在一些高難度問題上展現了超越人類的水準，然而對于一些老幼皆知的簡單問題，反而可能會給出一些離譜至極的回答，如對話7-1所示。

對話7-1 ChatGPT 事實錯誤示例

??我們看它給出的答復，那確定無疑的語氣，如果事先不知道魯迅原名周樹人，還真以為他們是不同的兩個人呢。這種事實性錯誤一般統稱為“幻覺”（Hallucination），該術語最早用于圖像合成等領域，后來用來描述諸如圖像檢測時檢測到虛假或錯誤目標等現象，然后進一步沿用至自然語言生成任務。主要指語言模型生成自然流暢、語法正確但實際毫無意義且包含虛假信息（即事實錯誤）的文本，以假亂真，就像人類產生的幻覺一樣。

??另外，早期的ChatGPT也會受對話者影響，即使是很常見的、確定的事實，如果對話者對答案進行篡改，告訴ChatGPT錯誤的答案，它就馬上會接受錯誤答案，如對話7-2所示。

對話7-2 ChatGPT 被誤導示例

??后面這種情況準確來說其實不能算事實錯誤，它是對話者故意誤導模型輸出。升級后的ChatGPT基本不會再犯這種錯誤了，無論你怎么說，它都會很明確地告訴你，從數學角度看，1+1就是等于2。但是對于前面一類事實錯誤，即使是升級后的ChatGPT，依然可能出錯，而且這種錯誤幾乎是難以避免的。我們很難保證一個模型能準確地記住人類有文字以來的所有知識。

??這種事實性錯誤的存在無疑增加了應用落地的風險，尤其對醫學，金融等非閑聊場景，輕則造成經濟損失，重則威脅生命安全。因此消除大語言模型中的事實錯誤成為了工業界和學術界的共同需求，也是當前的研究熱點。

7.1.2 原因分析

??對ChatGPT之類的語言模型而言，在海量的文本數據上訓練后，主要學到的知識包含語言學知識和事實性知識（或稱為世界知識）兩類。語言學知識是為了能生成語法正確，自然流暢的文本，大部分經過處理的訓練數據都是嚴格文法正確的，對于大模型來說，學習語言知識并非難事。而事實性知識則主要為實體之間的關聯，相對而言復雜的多，即使對人類而言，也無法學習并掌握全部的事實知識。

??語言模型中的先驗知識都來自于訓練語料，用于訓練語言模型的大數據語料庫難免會包含一些錯誤信息，而這些錯誤信息在訓練過程中都會被模型學習并存儲在模型參數中。相關研究表明語言模型在生成文本時會優先考慮自身參數化的知識，如果學到的就是錯誤的知識，也會更傾向生成這些錯誤的內容。

??相較其他自然語言生成任務，構建類似ChatGPT這種對話模型還需要使用用戶話語和對話歷史數據，以便生成流暢、連貫，且滿足用戶對話需求的合理回復。對話模型可以簡單用圖7-1所示的因果圖來表示。

圖7-1 ChatGPT對話模型因果圖

??生成的回復\(Y\)由對話上下文\(X\)和語言模型里的先驗知識\(K\)共同決定。在對話模型研究中，描述這些事實錯誤有個更通用的術語——“不一致”。不一致一般可分為兩種，第一種是事實不一致，就是生成的回復\(Y\)與世界知識\(K\)相悖。另一種是對話歷史（上下文）不一致，一般源于對歷史信息\(X\)的遺忘，導致生成的回復與歷史信息相矛盾，以及在人設對話中人設信息發生變化的現象。在多輪對話中，這些問題很常見。

7.1.3 解決方法

??根據前文分析，針對兩種不一致問題需要找到相對應的解決方法。關于上下文不一致，由于當前所用的大模型能夠接受很長的輸入，這個問題造成的影響不大；而另一種事實不一致則相對比較難解決。

??造成事實錯誤的最主要原因是訓練數據，構造高質量的數據集進行訓練顯然是一條可行的方法。由于預訓練數據多為網上收集的文本，為了保證質量，可以在使用前進行過濾、去重、修改語法、解決指代不明或事實錯誤等處理，確保語言模型能夠學習到準確的知識。另外也可以用維基百科或其他類似知識庫對語言模型進行知識增強， 這些數據都是公認的包含世界知識的相對準確的數據，對于降低模型訓練過程中受到的干擾有很大幫助。

??數據方法經常需要人工介入，其成本相對較高，而且考慮到大語言模型用到的超大規模數據集，成本只會更高。由于模型幻覺的最大來源是預訓練數據集中的錯誤知識，因此先從可信任源檢索相關知識，再根據檢索到的內容進行回復。基于ChatGPT的新必應搜索就是利用了這種方法。

??當前對話模型更多關注在開放域場景，合理的回復往往并不唯一，這意味著在訓練階段很難進行標注，同時在推理時模型也比較容易“放飛自我”，生成千奇百怪的回復，這其中就難免會出現一些錯誤的知識。針對這種“一對多”的場景（涵蓋了不太常見的、有唯一回復的場景，可以看作一種比較通用的場景），很多研究致力于探索語言模型的可控生成，通過添加一些控制因素，使生成文本滿足一定的約束，這在一定程度上也能緩解模型幻覺。

??我們在第1章介紹的RLHF將人類反饋（偏好）用于模型訓練過程，期望訓練完成的模型能夠記住反饋時給它的信號。還有類似于指令微調這樣，通過在輸入中加入一個或若干個Token引導模型生成的方法，在當前學術和工業界比較流行。除此之外，也可以在解碼階段，通過一個或若干個控制模型來影響下一個Token的概率分布。這種方法是大語言模型之前可控生成的主流方法，相信也會迎來一波熱潮。

??將錯誤知識收集起來，到一定數量后，統一進行微調或編輯，也是當下熱門的研究和實踐方向。其中微調可以看成是一種“重新學習”，編輯則先定位到錯誤知識的生成路徑，直接去“更新”該路徑上的參數。

??最后，還有一種簡單的策略也值得一試，就是讓大語言模型針對一條輸入同時生成多條候選回復，然后用另一個小模型對結果重新排序，盡可能選擇出滿足可控需求的回復。

7.2 實時更新

7.2.1 問題示例

??當前，包括ChatGPT在內的所有的大語言模型都存在時效性問題，也就是說，它們的知識只更新到訓練時使用的數據的最新時間。比如ChatGPT，只更新到2021年9月之前的信息，它對問題有檢測機制，對回答不了的問題（尤其是對它來說是“未來”信息的問題）會選擇直接“攤牌”，如下所示。

對話7-3 ChatGPT 無法回答新知識

??不過，在人類“誘導”下，它還是會忍不住一本正經的胡說八道，如對話7-4所示，這和上一節錯誤知識的誘導是類似的。出現這種情況主要是因為ChatGPT在訓練時的目標就是盡可能對用戶真實、友好、有幫助。

對話7-4 ChatGPT被人類引導出幻覺

??除了這種誘導，我們還可以通過“假設”、“想象”或“模擬”的方法讓ChatGPT對未來做出預測。比如，想讓它預測兩支球隊接下來的比賽得分，可以讓它假設自己是足球分析師，提供一些兩支球隊的基本信息（如球員、比賽場地、歷史成績等），讓它基于這些信息對結果進行預測。我們甚至可以告訴它，自己非常熱愛足球，非常渴望得到它的幫助，讓ChatGPT覺得它應該為我們提供幫助。

7.2.2 原因分析

??剛剛提到的這種“誘導”，其實并不是算是大語言模型的問題，因為它其實更像是一種“分析”——基于說話人給出的信息做出一些相關的判斷。我們還是把重點放在實時更新上。

??誠如前文所分析，語言模型的信息都來自于訓練數據，經過訓練后這些知識會以參數化的形式存儲在模型中。在之后的使用中都是基于已學習到的知識來交互，因此模型本身并不會學習到新知識。通過在某一輪對話中給出適當的實時提示（類似于少樣本推理）也許會展示出擁有學習新知識的能力，不過一旦重新開啟對話，這些信息也就被遺忘了，模型立即會回到一開始的狀態。關于這個問題，ChatGPT自己也是這么回答的，如圖7-6所示。

對話7-5 ChatGPT回答實時更新

??為什么它就不能根據新的知識實時更新呢？這里主要有兩個方面原因。第一個是成本問題。深度學習目前朝著大模型大數據的方向發展已成必然趨勢，大模型涌現能力甚至還會激發研究者們進一步“瘋狂氪金”堆參數。如今各大公司紛紛推出自己動輒便數千億級參數量的模型（截止2023年8月，光國內開源的大模型就一百多個了，不過大部分是幾十億量級），所用數據更是海量。盡管語言模型訓練不需要人工標注，但數據預處理、人工反饋等階段還是需要高昂的人力成本。再加上這樣超大模型加海量數據的組合，每次訓練都需要使用數臺GPU來完成，其成本不是一般公司能夠承擔的。

??第二個是怎么更新的問題。我們已經知道，模型的知識是通過訓練語料得到的，我們的世界每天都有大量的信息出現，哪些信息（語料）應該被選擇用來學習？還是所有語料都學習，如果是的話，怎么收集？假設我們每天都收集到一些信息，要怎么高效地更新到模型中去？從頭到尾訓練是不可能的，在原來的基礎上增量訓練是否可行，是否會影響模型原來的能力？

??這些問題至少在目前看來還都不好處理，它們背后其實還隱藏著一個問題：“為什么要更新？”換句話說，訓練一個大語言模型的目的是什么？從這個角度看ChatGPT的系統消息：“You are a helpful assistant”其實有點模糊，“有幫助”這個范圍太廣，獲取最新的資訊也可以看作是一種“有幫助”。筆者認為，這里應該首先區分清楚知識和信息的區別，確定我們究竟想要大語言模型干什么。是否可以把頻繁更新的和相對穩定的內容分開，頻繁更新的整合其他系統，相對穩定的才更新模型。最終面向用戶的其實是一個整體系統，而不是其中某一個部分。這其中的核心并不是“知不知道”，而是需要知道時“如何知道”。

7.2.3 解決方法

??我們姑且忽略目的，并假設已經獲取到要更新的知識，僅探討如何實時更新。首先能想到的是微調，準確來說是高效微調，也就是固定住原模型的參數不動，插入一塊新的參數用來編碼新的知識。或者，可以考慮更新部分參數來學習新知識。此前有研究表明，文本的語言學知識多存儲在模型的低層網絡，所以在微調時可以凍結這部分參數，加速學習。

??其次就是上一小節提到的，以模塊化組合的方式構造系統。此時，實時更新包含兩層意思：第一層，實時信息索引，類似于此前的搜索引擎；第二層，必要知識在必要時候自動更新模型，完成迭代升級。理想狀態是大模型作為大腦，外部信息輔助信息源，視實際需要，向大腦提供思考用的材料。微軟推出的新必應搜索可以看作類似的一種嘗試，它以對話形式精準處理用戶需求，實現了對話模型與海量網絡信息的聯動，或許會顛覆整個互聯網的搜索模式，也是未來大模型應用的一條新賽道。

7.3 性能瓶頸

7.3.1 背景描述

??我們在前面章節介紹過NLU任務和NLG任務，不同于NLG，NLU任務的輸出往往是一個或多個標簽。如果用生成式方法來做，當標簽長度比較長時，效率往往不如非生成式的方法。同時，也只有大模型的NLG才有可能比較好地完成NLU任務，在大模型之前，生成式方法完成NLU任務效果與非生成式方法相差很大。

??簡單來說，不同的方法天然適合不同的任務，但大模型由于其理解能力足夠強，所以可以完成很多任務。不過對于大多數NLU任務來說，用大模型方法在效率上要稍低一些。

7.3.2 原因分析

??大模型方法做NLU任務的性能偏低主要體現在以下兩個方面。第一，相比相同精度的普通非生成式方法模型來說，大模型參數量更多，意味著需要更多的計算量。第二，由于是一個Token接著一個Token生成答案，當標簽長度超過一次可生成的Token長度時（注意一個Token不一定是一個字，目前中文大模型基本都是詞），就需要多計算幾次。

??事實上，本節更多是站在用生成式模型做NLU任務的角度，更進一步，用大語言模型做NLU任務，正如我們在第2章和第3章中介紹的那樣。這也是非算法人群最簡單的開發NLU相關功能的做法了，也比較適合用戶規模不太大，或以大模型為核心重新構建產品和服務的情況。不過，正像本書一直強調的，大模型可以是我們的工具，甚至是非常重要的工具，但不應該是全部。在實際項目開發中，有時候一個正則表達式也能解決問題，那何樂而不為。

7.3.3 解決方法

??這里我們假定使用大模型作為NLU任務的方案，并不考慮橫向或縱向擴展服務器資源這種方式，要提升性能可以從下面幾個方面著手。

• 從提示詞入手，特別強調讓它僅輸出最終標簽，不要做任何多余的解釋（大模型往往喜歡解釋）。
• 選擇性能更好的推理引擎，比如fastertransformer、onnxruntime等，它們都做了專門的加速優化。
• 使用量化版本。量化也是模型推理優化的一種方法，主要思想是將浮點數的參數運算轉換為整數或更低精度的浮點數運算，既能減少內存占用，也能提升推理效率，但精度下降也有可能帶來效果同步下降。另外值得說明的是，在部分硬件上轉為低精度浮點數可能并不會提升性能（甚至可能會下降），尤其是一些移動設備、嵌入式系統和邊緣計算設備。所以，建議盡可能做一些轉換前后的對比實驗，在效率和效果之間找到合適的平衡點，做到心中有數。
• 使用緩存。NLU任務不需要輸出的多樣性，很多場景中用戶的查詢有大量重復（比如搜索，尤其是垂直領域搜索），對于重復的查詢內容，直接返回緩存中的結果即可。

7.4 本章小結

??ChatGPT的問世引發了AI界（尤其是NLP方向）的一波發展浪潮，無論圈內圈外都感嘆于它強大的能力，一時間幾乎所有人都涌向了這個賽道。但正如那句老話所言：“一項新技術總是短期內被高估，長期內被低估”。ChatGPT引領的大語言模型的確很強，進化速度也非常快，不過正如本章介紹的，在某些方面依然不能盡如人意，尤其是事實錯誤和實時更新。但作為一線NLP算法工程師，筆者又能深刻感受到它的強大和不可思議之處，甚至對未來有一些隱隱的擔憂。技術日新月異，未來任重道遠，相信會有越來越多的能人志士參與進來并貢獻自己的才智。