1. 人工智能進化

1.1. 2023年，人工智能迎來了一個重大突破的里程碑年份

• 1.1.1. 大語言模型的能力不斷增強，不僅改變了人機交互模式，還開啟了機器之間的互動可能

1.2. 20世紀60年代，人工智能研究者追求的目標是通過基于直覺的編程來模擬人類智能

1.3. 既然大腦是人類智能的物質基礎，也是解決人工智能難題可行性的唯一明證，為何早期人工智能研究者們沒有重視對大腦的研究？

• 1.3.1. 紐厄爾的回答頗具啟發性：他個人對腦科學研究持開放態度，但當時對大腦的認知水平有限，難以為人工智能的發展提供實質性指導

1.4. 在今天，自然界的智慧仍在啟發航空工程

• 1.4.1. 萊特兄弟就是滑翔鳥類的細心觀察者

• 1.4.1.1. 鉸鏈式襟翼才是更優的技術方案

• 1.4.2. 現代噴氣式飛機普遍采用的翼梢小翼，不僅能節省5%的燃料，其造型也與鷹的翼尖驚人地相似

1.5. 大腦皮質的分層結構為深度學習的發展提供了重要啟發，而大自然中還蘊藏著更多值得借鑒的智慧

1.6. 算法生物學，致力于研究和解析生物系統中的問題解決機制

• 1.6.1. 通過漫長進化而形成并最終傳承至人類的自然法則與解決方案，正是破解復雜問題的重要參考

2. 學習與編程的對比

2.1. 在傳統人工智能研究中，學習并未被視為核心要素

2.2. 20世紀的人工智能研究主要致力于直接編程實現智能，需要為感知、運動和規劃等不同功能分別開發程序模塊

2.3. 把視覺作為獨立目標本身就值得商榷

• 2.3.1. 視覺的根本作用是輔助生物體與環境進行運動交互

• 2.3.2. 流向視覺皮質的運動反饋信號竟比輸出的視覺信號更為豐富

• 2.3.3. 這些運動前的反饋信號能預測自身行為產生的視覺變化，從而讓有限的信息通道專注于處理未預期的視覺輸入

• 2.3.4. 大自然的設計自有其精妙之處，無須讓這些復雜的技術細節成為我們的困擾

2.4. 學習系統需要強大的計算能力和海量數據作為支撐

2.5. 現代電視本質上是一臺能與其他設備進行流媒體通信的計算機

2.6. 汽車則變成一臺裝配輪子的智能終端，不久的將來還將實現車聯網通信

2.7. 學習新知識的過程實際上是在改變我們的生物神經系統

2.8. 大腦是由多個相互配合的算法系統組成的，而這些子系統都建立在可以互相適應的神經元基礎之上，這種特性大大降低了系統整合的難度

2.9. 語言本身就是符號處理的典范，而數字計算機恰好在處理符號和執行邏輯運算方面表現出色

2.10. 程序員必須預設的世界狀態組合呈指數級增長

2.11. 我們往往低估了“看”和“伸手”這類看似簡單動作的復雜性

• 2.11.1. 對人類而言，識別物體并抓取它是輕而易舉的事，因為這些動作已成為本能，我們甚至意識不到其中涉及的大量潛意識處理過程

• 2.11.2. 我們通常不知道自己是如何做出決定的，只是事后才用似是而非的理由來解釋

• 2.11.3. 從藝術創作到數學發現，這種潛意識處理都是創造力的重要源泉

2.12. 數學家那種嚴密的邏輯推理能力，其實是經過長期訓練才得以形成的

• 2.12.1. 在面對未知情況時，人類更傾向于通過類比已知經驗，而非運用嚴格的邏輯來做出判斷

2.13. 程序性學習正是人類掌握運動技能、在特定領域成為專家，以及獲得其他技能的關鍵機制

• 2.13.1. 我們大腦中的程序性學習采用了與AlphaGo相同的時間差分學習算法，其中多巴胺神經元負責表示獎勵預測誤差

• 2.13.2. 這種學習機制也是人類創造力的重要來源之一

3. 人工智能歷史中的三個要點

3.1. 早期發展優勢：符號處理在AI早期備受青睞，主要因為數字計算機在處理符號和執行邏輯運算方面效率極高

• 3.1.1. 語言處理正是符號處理方法的典型應用場景

3.2. 替代方法：隨著技術的發展，從大量實例中學習的方法逐漸取代了傳統的符號處理

• 3.2.1. 這種方法對數據規模和計算資源要求很高，在人工智能發展早期難以實現

• 3.2.2. 2012年的重大轉變：一方面，計算資源和數據獲取成本大幅降低；另一方面，傳統編程方式的開發成本卻不斷攀升

• 3.2.2.1. 這種此消彼長的態勢，最終推動機器學習成為AI發展的主流方向

3.3. 傳統人工智能的關注點：傳統人工智能強調邏輯推理，但要學會模仿邏輯步驟需要大量訓練

• 3.3.1. 強化學習的作用：像TD-Gammon和AlphaGo這樣的系統所展現的創造力，不僅來自深度學習，還來自強化學習

4. 下一代技術

4.1. 人類有在各種環境中保持穩定和生存的能力，而語言智能只是其中的一小部分

4.2. 就像語言在大腦中的作用一樣，人工智能的長遠愿景是將大語言模型整合到更廣泛的系統中

4.3. 大腦經過數百萬年的進化，特別擅長感知和運動控制，因為其對生存至關重要

4.4. 大語言模型也需要依賴人類才能生存，畢竟它們在現實世界中無法獨立存在

4.5. 盡管非人類動物未達到人類的通用智能水平，但它們都已在各自的生態位中實現了有效的自主性

• 4.5.1. 深度學習雖然從大腦皮質獲得靈感，但要實現真正的自主生存，還需要借鑒更多腦區的功能機制

• 4.5.2. 自然界通過漫長的進化，在變化多端的環境中不斷打磨出一套套精妙的算法，這些算法或許正是開發人工通用自主性的關鍵所在

4.6. 自然界通過漫長的進化，在變化多端的環境中不斷打磨出一套套精妙的算法，這些算法或許正是開發人工通用自主性的關鍵所在

4.7. 大自然向我們展示了如何通過具身化的大腦來解決復雜的計算問題，通過研究多樣化的神經架構并提煉其中的普遍原理，我們可以在通往人工智能的道路上學到很多東西

5. 童年期

5.1. 與小馬出生后即能行走不同，人類是典型的晚熟物種

• 5.1.1. 發育期的延長讓人類大腦得以緩慢發展，在語言學習階段保持較強的可塑性

5.2. 初級感覺皮質較早成熟，而前額葉皮質要到成年期才最終發育完善

5.3. 盡管批量訓練在特定任務中更為高效，但要實現真正的人工通用自主性和與人類價值觀的深度對齊，可能需要更長的“童年期”?

• 5.3.1. 通過在早期訓練中融入強化學習，人工智能系統可以像兒童一樣逐步建立對好壞、安危的認知，并在后期形成穩定的價值取向

6. 大語言模型

6.1. 需要計劃

• 6.1.1. 要實現真正的人工通用自主性，建立目標導向和內在動機至關重要

• 6.1.2. 維持生存需要生命體與環境保持動態平衡

• 6.1.3. 當前的大語言模型要想持續進步，離不開精心篩選的訓練數據和開發人員的不懈優化

• 6.1.4. 自動駕駛技術的發展歷程清晰地展示了人工智能在應對真實世界時面臨的挑戰，特別是如何應對不可預測的環境變化

6.2. 需要實現突破

• 6.2.1. 相比掌握語言，學習控制像人類這樣具有高度靈活性和適應性的身體是一項更具挑戰性的任務

• 6.2.2. 人體擁有眾多關節，每個動作往往需要數百塊肌肉協同工作，這使得動作協調成為一個極其復雜的控制難題

• 6.2.3. 傳統的控制方法采用中央集中式管理，而自然界則通過分布式控制方式，實現了多自由度身體的流暢協調

• 6.2.4. 走路和說話有著相似之處：兩者都需要產生由目標引導的、連貫流暢的動作序列

• 6.2.5. 將感知輸入與語言關聯起來，有助于加強與控制身體的其他腦區系統之間的信息連接

• 6.2.6. 大語言模型在未來也需要發展出與物理世界交互的能力

• 6.2.7. 具身性的三個要點

• 6.2.7.1. 身體的協調復雜性：要打造一個能像人體那樣靈活適應環境的機械軀體，是一項極富挑戰性的工程

• 6.2.7.2. 任務的協同推進：一個重要突破在于將大語言模型整合進機器人控制系統

• 6.2.7.3. 感知運動系統與語言的深度融合：要讓學習過程更加直接有效，我們需要將更豐富的感知信息與語言系統建立起緊密聯系

• 6.2.8. 1948年是信息科學的重要里程碑

• 6.2.8.1. 諾伯特·維納出版了開創性著作《控制論》

>  6.2.8.1.1. 首次提出“控制論”?（cybernetics)概念，該詞根后來衍生出我們今天熟知的“網絡”?（cyber)及相關詞匯，如“網絡犯罪”?（cybercrime)、?“網吧”?（cybercafé)等

• 6.2.8.2. 香農創立了現代信息理論，為通信領域帶來革命性突破

• 6.2.8.3. 這兩大理論為人類后來實現登月和發明互聯網提供了關鍵理論支撐

• 6.2.8.4. 時至今日，在研究大語言模型的類腦功能和內部運作機制時，控制論和信息論仍然發揮著不可或缺的指導作用

6.3. 需要長期記憶能力

• 6.3.1. 構建新一代人工智能系統面臨的一個關鍵挑戰，是如何管理由深度學習網絡組成的復雜異構系統的記憶機制

• 6.3.2. 要讓大語言模型真正成為個人助理和導師，它必須具備記住與用戶歷史互動的能力

• 6.3.3. 用新數據持續訓練模型往往會削弱它對原有知識的掌握

• 6.3.4. 下一代大語言模型應當開發類似人類海馬的功能模塊，使其能夠實現持續學習，從而在行為模式上更加接近人類

• 6.3.5. 海馬是大腦中的關鍵結構，它能在不破壞已有記憶的前提下，幫助大腦皮質建立起跨時間的記憶連接，并不斷更新神經網絡

• 6.3.6. 為了避免記憶丟失和相互干擾，大腦進化出了多種保護機制，其中最重要的是對新信息進行篩選存儲

• 6.3.7. 記憶的鞏固過程主要在睡眠中完成

• 6.3.7.1. 睡眠時，大腦皮質會產生一種有規律的電活動模式，特別是一種叫“睡眠紡錘波”的短暫振蕩活動

• 6.3.7.2. 這種活動每晚會重復數千次，對記憶的鞏固起著重要作用

• 6.3.7.3. 當海馬在睡眠中重放白天的經歷時，就會觸發這些紡錘波

• 6.3.7.4. 通過這種遍布大腦皮質的同步波動，日常經歷得以精煉并逐步融入長期記憶系統

7. 神經調節

7.1. 大腦協調多個神經網絡同時運作的另一個重要機制是神經調節

7.2. 神經調節系統由一系列復雜的神經網絡構成，它們通過釋放特殊的化學物質—神經調質來調控神經元和神經回路的活動

7.3. 神經遞質主要產生快速、直接的電生理反應，而神經調質的作用則相對緩慢，但影響范圍更廣，能夠引發大腦功能的整體性變化

7.4. 多巴胺是一種典型的神經調質，在基底神經節的強化學習系統中發揮著關鍵作用，主要通過激勵與獎勵相關的行為來調控學習

• 7.4.1. 由于多巴胺在動機系統中的重要地位，成癮性藥物往往會通過干擾多巴胺的活動來劫持我們的獎勵系統

• 7.4.2. 我們無法直接感知技能學習的神經過程，但那些能夠促進多巴胺釋放的藥物卻能帶來明顯的愉悅感

7.5. 大腦中還存在著數十個神經調節系統

• 7.5.1. 這些系統共同調控著我們的警覺性、注意力、情緒狀態、社交行為、食欲，以及應激反應等多種認知功能

• 7.5.2. 通過長期進化，這些系統使我們能夠更好地應對日常突發事件，甚至是威脅生命的危急時刻

• 7.5.3. 這些神經調節系統最顯著的特點，是能夠根據緊急情況靈活調整認知優先級

• 7.5.3.1. 這種動態調節機制的原理，對開發具有自主性的大語言模型具有重要的啟發意義

8. 工作記憶

8.1. 在對話開始時，大語言模型能夠根據特定領域持續生成符合語法的內容

8.2. 從整體來看，模型的活動軌跡會在提示詞所界定的高維空間中按特定路徑移動

8.3. 人類對話卻顯得更加靈活

• 8.3.1. 我們不僅能在長時間內保持對話的連續性，即使話題臨時跳轉，也能自如地回到原來的話題

8.4. 大腦擁有一套在不同時間尺度上保持連續性的動態機制

• 8.4.1. 以人類的工作記憶為例，它是通過神經元內部以及神經元之間的電生理和生化活動來維持的

• 8.4.2. 在強化學習領域，通過“資格跡”?（eligibility trace)來維持連續性

• 8.4.2.1. "資格跡”實際上是一個基于預測誤差來計算權重變化的衰減平均值

8.5. 大語言模型在對話過程中會表現出一種類似“學習”的能力

• 8.5.1. 隨著對話的深入，模型的注意力機制會將信息處理重新導向不同的網絡分支

• 8.5.2. “思維鏈”提示法就是一個很好的例子，它通過引導模型按步驟思考，實現了更好的問題解決能力

• 8.5.2.1. 這種由多頭注意力機制主導的即時轉向能力，在實際應用中也被證明非常有效

9. 大腦記憶系統的5個關鍵特征

9.1. 對話的高維空間和連續性

• 9.1.1. 對話內容可以被視為在高維空間中形成的軌跡，既要保持連貫性，又要符合語法規范

• 9.1.2. 即便話題出現跳轉或被打斷，人們也能自然地重回主線，維持對話的流暢度

9.2. 工作記憶與生物活動

• 9.2.1. 人類的工作記憶依靠神經元網絡中的電化學活動來維持

• 9.2.2. 這一過程涉及不同時間尺度的神經活動，在強化學習理論中被稱為“資格跡”現象

• 9.2.3. 突觸內部存在作用時間更長的生化過程，這些機制對記憶的形成和維持起著關鍵作用

9.3. 構建人工智能記憶系統的難點

• 9.3.1. 開發具備人類記憶管理特征的人工智能系統仍面臨巨大挑戰

• 9.3.2. 現有的語言模型類似于“短期失憶患者”?，無法有效保存和利用過往對話的信息

• 9.3.3. 未來的語言模型研發正致力于模擬人類海馬的功能，以實現持續學習能力，使其表現更接近人類的認知模式

9.4. 海馬與記憶鞏固機制

• 9.4.1. 對新經驗進行選擇性儲存

• 9.4.2. 通過睡眠中的紡錘波活動來整合記憶

9.5. 神經調節系統的作用機制

• 9.5.1. 大腦通過特定的化學物質對神經元活動進行調控

• 9.5.2. 這些神經調節物質與普通神經遞質相比，具有作用緩慢但影響范圍廣的特點，能夠引發大腦功能的全局性變化