讀大語言模型01導論

1. 導論

1.1. 自2022年ChatGPT驚艷問世以來，大語言模型領域的發展可謂日新月異

• 1.1.1. 震驚世界的DeepSeek，以及百度的文心大模型、阿里巴巴的Qwen大模型等

1.2. OpenAI于2022年11月面向公眾發布了ChatGPT。ChatGPT是一種新型的AI（人工智能)程序，我們稱之為大語言模型（large language model, LLM)

• 1.2.1. 你可以與大語言模型交談并詢問幾乎任何事情

• 1.2.2. 大語言模型是由包含數萬億個詞語的文本訓練出來的神經網絡模型，這構成了它豐富知識庫的基礎

1.3. 核心觀點“人工智能將提升人類智慧”?，如今，在法律、醫療、新聞、廣告以及科學工程等眾多領域使用大語言模型的從業者都能印證這一點

• 1.3.1. 事實上，對大多數人而言，人工智能正在幫助我們快速處理重復性工作，為更有價值的任務騰出時間，同時創造新的就業機會

1.4. 與這類語言模型對話，更像是在和一個無所不知卻異常早熟的小孩子交流

• 1.4.1. 隨著年齡增長，孩子們終將學會分清現實與想象，等到青春期，他們也會慢慢接受并認同自己文化中的價值觀念

• 1.4.2. 大語言模型則像童話故事里的彼得·潘一樣，永遠停留在數字化的“永無鄉”里，從未真正長大

1.5. 如何培養大語言模型的價值觀念，使其具備判斷是非的能力？

• 1.5.1. 目前的方法是通過精細調節來規范模型行為，需要針對每種不當行為設置具體的限制

• 1.5.2. 已有黑客發現了一些技巧，能夠繞過這些安全限制

1.6. 相比人類的成長歷程，大語言模型明顯缺少兩個關鍵階段

• 1.6.1. 童年期—人類在這一階段通過與物理世界和社會環境不斷互動，逐步形成成熟的大腦神經網絡

• 1.6.2. 青春期—這一時期人類的前額葉皮質尚未發育完善，待其成熟后，人類才能更好地控制沖動，做出合理判斷

1.7. 相較于互聯網改變社會的進程，人工智能對我們生活的革新速度可謂驚人

1.8. 到21世紀第二個十年，深度學習在圖像識別、語音識別和語言翻譯等人工智能經典難題上取得的突破令人震撼

• 1.8.1. 更讓人驚嘆的是深度學習與強化學習的完美結合

• 1.8.2. 從1992年TD-Gammon在雙陸棋比賽中達到頂尖水平，到2017年AlphaGo擊敗圍棋世界冠軍

• 1.8.3. 2023年，大語言模型的突飛猛進讓世界再次震驚

  • 1.8.3.1. 語言作為人類最根本的能力，一直是我們判斷智力水平的關鍵標準

1.9. 單憑外在行為是否足以判斷意識的存在

• 1.9.1. 人工智能先驅馬文·明斯基指出，專注于單一功能的計算機程序，如語音識別或語言翻譯，僅能算作“應用程序

• 1.9.2. 真正的通用人工智能（AGI)應當像人類一樣具備多樣化的能力

• 1.9.3. 大語言模型在語言運用方面展現出的驚人能力，確實讓我們在AGI的道路上前進了一步，而AGI正是人工智能領域的最終追求

1.10. 大語言模型是否真正理解它們所產生的內容？

• 1.10.1. 這個根本性問題不僅在語言學和計算機科學領域引起了巨大爭議，還牽動了眾多其他領域專家的神經

• 1.10.2. 我們要如何驗證一個系統是否真正具備理解能力？

• 1.10.3. 對人類的理解過程本身，我們又了解多少？

1.11. 根據機器學習帶來的新發現，現在是重新審視舊有概念的最佳時機

2. 大語言模型

2.1. 這種人工智能僅僅通過處理未標記的文本就能自主學習，雖然它既看不見、聽不到，也沒有感知能力，但它絕不是啞巴，其智能表現要比通過觀看帶字幕的電視節目來學習新語言更令人印象深刻

2.2. 自監督學習的大型語言模型作為基礎模型，展現出驚人的多面性

• 2.2.1. 它們能夠完成各種語言任務，僅需少量示例就能掌握新的語言技能

2.3. 大語言模型的輸出并非完成品，而是一個優質的初稿

• 2.3.1. 這些初稿常常包含新穎的見解，既能加快創作進程，也能提升最終作品的質量

• 2.3.2. 雖然有人擔憂人工智能可能取代人類，但目前的實踐表明，大型語言模型實際上在幫助我們變得更智慧、更有效率

2.4. 人類很容易對聊天機器人產生“理解幻覺”?，誤以為機器真的理解了對話的內容

2.5. 大語言模型的工作原理是通過自監督學習來預測文本中的下一個詞元

2.6. 大腦新皮質是哺乳動物在2億年前進化出的大腦表層褶皺結構

• 2.6.1. 大腦其他更古老的部分，才是負責自主行為和生存本能的關鍵

2.7. 就像被限制在“桶中的大腦”?，要想與物理世界直接互動，就必須突破這個桶的限制

• 2.7.1. 目前的大語言模型還無法實現這一點，原因有二

  • 2.7.1.1. 它們缺乏物理形態

  • 2.7.1.2. 它們僅模擬了大腦新皮質的功能

2.8. 批評者常把大語言模型比作簡單的復讀機，認為它們只是在重復訓練數據庫中的內容

• 2.8.1. 雖然這些模型是在龐大卻有限的語料庫中訓練的，但它們卻必須在無限的語言空間中生成新的句子并完成各種語言任務，這種能力就是“泛化”?

• 2.8.2. 它們必須建立訓練數據的內部表征，以及基于這種表征生成新的、恰當的回應

• 2.8.3. 如果訓練數據集相對于模型參數量過小，就會出現“過度擬合”現象，即模型只能記住具體例子，無法學習詞語之間的關聯關系，也就無法實現泛化

2.9. 泛化能力不僅是大語言模型的關鍵特征，也是人類認知的核心要素

2.10. 圍棋對弈中存在著可供學習的內在規律，這些規律可以指導人工智能在相似局面下做出合理的應對

• 2.10.1. 大語言模型也已經構建起了對現實世界知識的內在模型

2.11. 生成圖片

• 2.11.1. 通過人工智能圖像生成模型DALL-E，我們可以直觀地理解人工智能的泛化能力

• 2.11.2. 泛化能力生動地展示了人工智能模型如何從已知概念延伸到新的創意空間D

• 2.11.3. 雖然人類藝術家同樣具備泛化創作的能力，但這需要投入大量時間進行練習和磨煉

  • 2.11.3.1. 人工智能圖像生成技術可以在一秒內完成創作，這種效率令人驚嘆

• 2.11.4. 人工智能圖像生成技術也能夠模仿任何藝術風格，創作出以假亂真的圖像，這些圖像的真實性很難被普通人識別

2.12. 大語言模型在創意領域展現出了驚人的潛力，其應用范圍包括故事創作、幽默創作、歌曲創作、劇本寫作和交互式游戲開發等多個方面

3. 多種多樣的大語言模型

3.1. 由于采用了不同的對齊或微調方法，每個模型都有其特點

• 3.1.1. 可以通過專業數據庫進行進一步微調，從而為企業、專業人士和公眾打造專屬的應用生態系統

3.2. ChatGPT

• 3.2.1. OpenAI開發的最知名大語言模型。其基礎版本GPT-3.5免費使用，運行快速，性價比高

• 3.2.2. 2024年5月發布的GPT-4雖需付費訂閱，但卻是目前功能最為強大的大語言模型之一

• 3.2.3. 不僅支持多語言交互，還能處理圖像輸入

• 3.2.4. 其升級版本GPT-4 Turbo的響應速度比前代提升了一倍

3.3. 必應（Bing)

• 3.3.1. 微軟基于GPT技術優化的搜索引擎

• 3.3.2. 能夠連接互聯網，并提供可供用戶核實的參考來源

• 3.3.3. 在創意和精確兩種模式下，必應都采用GPT-4技術，用戶體驗友好

3.4. Gemini

• 3.4.1. 由谷歌開發，支持互聯網連接，可使用40多種語言，服務范圍覆蓋230多個國家和地區

• 3.4.2. 三個版本

  • 3.4.2.1. 適用于手機等終端設備的Gemini Nano

  • 3.4.2.2. 作為谷歌聊天機器人Bard的核心并具備多模態能力的Gemini Pro

  • 3.4.2.3. 性能最強的Gemini Ultra

3.5. Llama

• 3.5.1. Meta公司推出的最新大語言模型

• 3.5.2. 第三代產品Llama 3采用開源方式，用戶可以訪問和修改源代碼

3.6. Claude

• 3.6.1. 由美國人工智能企業Anthropic公司開發，使用體驗出色，性能與GPT-4不相上下

• 3.6.2. 它能夠處理整本圖書

3.7. Le Chat

• 3.7.1. 法國新創公司Mistral開發的精簡版開源大語言模型，性能接近GPT-4

3.8. Grok

• 3.8.1. 由xAI開發，可在社交平臺X上使用

• 3.8.2. 它以機智幽默和獨特個性著稱

• 3.8.3. 模型本身開源，但訓練代碼不開源

3.9. Perplexity

• 3.9.1. 能夠從互聯網篩選可靠信息源，并提供引用鏈接供用戶核實

3.10. Mistral

• 3.10.1. 采用優質數據訓練，性能可與GPT-4媲美

• 3.10.2. 該模型已開源，為多個實用型大語言模型提供技術支持

4. ChatGPT

4.1. 自從OpenAI于2022年11月推出ChatGPT以來，公眾對它的熱情持續高漲

• 4.1.1. 短短兩個月內，其用戶數量就突破1億大關，這一增長速度遠超谷歌和臉書在起步階段的表現

• 4.1.2. 從協助醫生增進對患者的同理心，到推動圖形處理器（GPU)制造商英偉達市值突破3萬億美元

• 4.1.3. GPU內含大量被稱為“核心”的處理單元，它在游戲中進行的快速圖形運算，恰好與神經網絡模型中的運算原理相同

4.2. 盡管ChatGPT不是人類，但大語言模型在處理和提取海量文本數據方面已經超越了人類的能力

4.3. ChatGPT背后的技術是一種名為Transformer的深度學習架構，它顯著提升了較為簡單的深度學習網絡在各種語言任務上的表現，并徹底改變了人工智能的格局

4.4. ChatGPT和其他大型語言模型的發展速度令人瞠目

4.5. ChatGPT在托蘭斯創造性思維測驗中表現出色，位居前1%，超越了絕大多數參與者

• 4.5.1. 在流暢性（快速產生大量想法的能力)和原創性（開發新穎想法的能力)方面，其表現處于最高百分位

• 4.5.2. 在靈活性（產生不同類型和類別想法的能力)方面，它位居前3%

4.6. 使用ChatGPT寫作則截然不同

• 4.6.1. 無論是創作短篇故事，還是總結文章，你只需向這個大語言模型輸入指令，就能立即得到一份相當完整的初稿

• 4.6.2. 大語言模型幫你完成了最繁重的基礎工作，讓你可以專注于更有創意的修飾環節

• 4.6.3. 在使用ChatGPT時，你只需調整提示詞，重新生成即可立即得到更好版本的文章

• 4.6.4. ChatGPT不僅是一個趣味十足的寫作助手，更是一個能夠提升我們寫作能力的智能工具

5. 工作會被取代

5.1. 近來，媒體頻頻對人工智能取代人類工作發出警示，引發了普遍的焦慮

5.2. 工業革命對每個身處其中的人都產生了深遠影響

• 5.2.1. 蒸汽機的發明大大提升了人類的生產力

• 5.2.2. 與使用馬匹耕作相比，農民的耕地面積擴大了百倍

  • 5.2.2.1. 這導致養活同等人口所需的農民數量顯著減少

• 5.2.3. 隨之而來的是大量新興工作崗位，為了讓勞動者掌握機器操作技能，教育規模也隨之擴大。這場持續了百年的轉變，讓幾代人有足夠的時間去適應

5.3. 工業革命后，農業和建筑等體力勞動密集型工作發生了根本性轉變，而醫生、律師和教師等腦力工作則基本維持原貌

• 5.3.1. 即便在同一就業領域內部，工作技能也在不斷演變

5.4. 大語言模型代表著信息革命的最新發展階段

5.5. 過去50年間，不少人曾預言自動化將導致大規模失業，引發社會動蕩

• 5.5.1. 悲觀預測并未成真的原因

  • 5.5.1.1. 現有工作在自動化浪潮中實現了轉型升級

  • 5.5.1.2. 新技術催生了大量新興就業機會

5.6. 信息時代催生了大量新興職業

• 5.6.1. 可以預見會出現更多與現有工作相關的新職業機會

• 5.6.2. 當日常工作實現自動化后，我們不必再為完成基礎工作而煩惱，轉而可以投入更富創造性和趣味性的工作中，選擇空間也會更加廣闊

• 5.6.3. 人工智能不會讓我們失業，而是會推動工作形態的轉變

5.7. 工業革命讓人類獲得了強大的體力，而信息革命則極大地提升了人類的認知能力

• 5.7.1. 與工業革命相比，信息革命發展速度驚人，短短幾十年就完成了工業革命需要幾個世紀才能實現的跨越

6. 互聯網的出現催生的新型職業

6.1. 網頁開發者和設計師：負責網站的設計與開發，確保網站既實用美觀，又功能完善

6.2. 內容創作者：包括博主、視頻創作者、播客主持人等，他們通過互聯網平臺制作和傳播各類內容

6.3. 社交媒體運營經理：負責企業或個人的社交媒體賬號運營，致力于提升品牌形象和用戶互動

6.4. 數字營銷專員：運用搜索引擎優化、點擊付費廣告和電子郵件營銷等工具開展網絡營銷活動

6.5. 搜索引擎優化專家：專門提升網站在搜索引擎中的排名，幫助企業增加網絡曝光度

6.6. 電子商務專家：管理在線商城的日常運營，包括銷售、物流和客服等環節

6.7. 數據科學家和數據分析師：通過分析海量數據，為企業提供決策支持

6.8. 網絡安全分析師：負責保護網絡系統安全，防范各類網絡威脅

6.9. 應用程序開發工程師：開發和維護iOS、安卓等平臺的移動應用

6.10. 遠程客服代表：通過電子郵件、在線聊天或社交媒體提供遠程客戶服務

6.11. 在線教育工作者：隨著互聯網的發展，在線教育迅速興起，為線上教師、導師和課程開發者創造了大量就業機會

6.12. 云服務專家：協助企業進行云端遷移和數據存儲管理

6.13. 用戶體驗/界面設計師：專注于設計友好的數字界面，優化用戶使用體驗

6.14. 網紅：他們在社交媒體平臺上積累大量粉絲，通過品牌贊助內容和品牌合作實現商業變現

6.15. 社群運營經理：負責管理在線社區，促進用戶互動和社區活躍度