1. 寒武紀大爆發

1.1. 技術是一系列不斷演變的思想

• 1.1.1. 新技術在與其他技術的碰撞和結合中發展

• 1.1.2. 同自然選擇一樣，有效的技術組合會留存下來，成為未來技術的新基石

• 1.1.3. 已有的技術越多，它們就越能成為其他新技術的一部分

1.2. 發明是一個不斷累積的、復合的過程，具有自我強化的特性

1.3. 即將到來的浪潮是一個超級集群，是一次進化式的飛躍，它將帶來成千上萬種潛在的新應用，其勢好比地球歷史上新物種最密集涌現的寒武紀大爆發

1.4. 新浪潮的另一個特點在于速度

• 1.4.1. 加速回報定律

• 1.4.1.1. 即技術進步會形成自我增強的反饋循環，從而進一步加快技術發展的步伐

• 1.4.2. 浪潮中的不同部分相互激發、相互加速，有時展現出極大的不可預測性和爆發力

• 1.4.3. 技術的進步是顯而易見的，而且進步速度正在不斷加快，每個月技術都有新變化

1.5. 無法預知這場浪潮將帶來何種技術組合，也無法確定其發展的時間表、最終結果和具體展現形式，但我們能實時觀察到一些有趣的新聯系正在逐步建立

1.6. 歷史與技術的發展模式將不斷延續，那些源源不斷的、具有現實意義的技術重組和擴散過程不僅會重復上演，而且將不斷向更深層次推進

1.7. 要真正理解即將到來的技術浪潮，關鍵不在于預測事物在短期內某個時間點的發展狀態，而是要密切關注多條指數型曲線的發展趨勢，預測它們的未來走向，并深入思考這意味著什么

1.8. 技術是塑造歷史模式的核心力量

• 1.8.1. 在歷史的長河中，我們人類逐漸掌控了原子、比特和基因，它們構成了我們目前所知的世界的普遍基石

2. 深度學習

2.1. 人工智能是即將到來的技術浪潮的核心

2.2. AlexNet的成功源于一種舊技術的復興，這種技術現已成為人工智能的基礎，為人工智能領域注入了巨大活力

2.3. 深度學習使用的神經網絡大致模仿了人類大腦的神經網絡構造

2.4. 在神經網絡內部，?“神經元”通過一系列帶有權重的連接與其他神經元相互關聯，這些權重大致反映了信息輸入之間的關聯強度

• 2.4.1. 神經網絡的每一層都會將其接收的信息傳遞給下一層，從而創建出越來越抽象的表征形式

2.5. 一種稱為反向傳播的技術介入，它負責調整網絡連接的權重以優化神經網絡

2.6. 深度學習讓計算機視覺技術無處不在，且運行順暢

• 2.6.1. 智能手機能識別各種物體和場景，在視頻通話時，視覺系統可以自動模糊背景，突出人物

• 2.6.2. 計算機視覺技術是亞馬遜無人超市和特斯拉汽車的基礎，推動它們向更自主的方向發展

• 2.6.3. 存在于Xbox游戲機的傳感器和攝像頭、聯網門鈴和機場登機口掃描儀中

• 2.6.4. 無人機的飛行、臉書上的不當內容自動標記、各種醫療狀況的診察中也都有計算機視覺技術的身影

2.7. 行業的科研產出和專利數量迅速攀升

3. 席卷世界

3.1. 人工智能的獲取和使用也變得日益便捷

• 3.1.1. Meta的PyTorch（一個開源的深度學習框架）和OpenAI的應用程序編程接口(API)這樣的工具和基礎設施，非專業人士也能輕松掌握尖端的機器學習能力

• 3.1.2. 意味著人工智能將緊密地融入我們的社會結構，成為其不可分割的一部分

3.2. 人工智能真的不再是“新興”的了

• 3.2.1. 存在于你每天使用的產品、服務和設備中。在生活的各個領域，大量應用程序正依賴于10年前還不可能實現的技術

• 3.2.2. 有助于在如今治療成本不斷攀升的背景下，發現治療某些棘手疾病的新藥

• 3.2.3. 深度學習可以檢測水管裂縫，管理交通流量，模擬聚變反應以開發新的清潔能源，優化航線，以及輔助設計更可持續、功能更豐富的建筑材料

• 3.2.4. 深度學習技術也被用來駕駛汽車、卡車和拖拉機，有可能創造出更安全、更高效的交通基礎設施

• 3.2.5. 在電力和水資源系統中，它被用來有效管理稀缺資源，緩解日益增大的資源壓力

3.3. 人工智能系統能夠管理零售倉庫、提供郵件寫作建議、推薦歌曲、檢測欺詐行為、撰寫故事、診斷罕見疾病，甚至模擬氣候變化的影響

• 3.3.1. 出現在商店、學校、醫院、辦公室、法庭和家庭中

• 3.3.2. 如今，你每天都會和人工智能互動很多次

• 3.3.3. 未來，這種互動將更加頻繁

• 3.3.4. 幾乎在任何方面，人工智能都將使人類體驗變得更加高效、快速、實用和順暢

4. 大語言模型的崛起

4.1. ChatGPT就是一個聊天機器人

4.2. 人類之所以聰明，很大程度上是因為我們能夠回顧過去并預測未來可能發生的事情

• 4.2.1. 智力可以理解為一種能力，這種能力使我們能夠預測關于周圍世界如何變化的可能情景，并基于這些預測采取明智的行動

4.3. 大語言模型利用了語言數據總是一個線性序列的特性

• 4.3.1. 每個信息單元都以某種方式與同一語言序列中較早的數據相關聯

• 4.3.2. 模型會讀取大量句子，學習其中包含的信息的抽象表征，然后基于這些信息生成關于信息走向的預測

• 4.3.3. 模型的挑戰主要在于設計一個算法，該算法能夠“知道去哪里尋找”給定句子中的關鍵信息

4.4. 模型會將句子中的常見字母和其他符號組合視為一系列的“標記”?，這些標記類似于語言中的音節，但實際上它們是模型為了更好地處理信息而識別出的常見的字母和符號組合塊

• 4.4.1. 會創建一個新的常見標記列表，并基于這些標記在海量文檔中識別出語言模式

4.5. GPT-4還能處理圖像和代碼、創建能在桌面瀏覽器中運行的3D（三維）電腦游戲、開發手機應用、調試代碼、識別合同漏洞、為新藥研發提供結構建議，甚至給出避免侵犯專利權的藥物修改建議

4.6. 如果說DQN和AlphaGo只是在岸邊輕拂的早期波瀾，那么ChatGPT和大語言模型就是第一波洶涌而來的巨浪

4.7. 大語言模型的應用并不局限于語言生成

• 4.7.1. 以語言為起點，現已拓展為一整個生機勃勃的生成式人工智能領域

• 4.7.2. 除了語言生成，這些模型在訓練過程中還意外獲得了眾多其他功能，如創作音樂、設計游戲、下棋以及解決高級數學問題等

• 4.7.3. 新的工具能夠根據簡短的文字描述生成令人驚嘆的圖像，這些圖像的真實感和說服力令人難以置信

• 4.7.4. Stable Diffusion這個完全開源的模型更是讓任何人都能在筆記本電腦上免費定制超現實主義圖像

• 4.7.4.1. 同樣的功能很快也將在音頻剪輯甚至視頻生成領域實現

5. 人腦級人工智能模型

5.1. 通常，人工智能系統的預測準確性高度依賴于訓練數據的標注質量

5.2. 大語言模型革命的關鍵突破在于，我們首次能夠直接在原始、雜亂無章的現實世界數據上訓練超大模型，而無須依賴那些經過仔細篩選和人工標注的數據集

5.3. 現在網絡上的幾乎所有文本數據都變得有價值了，數據量越大越好

5.4. 如今的大語言模型是在數以萬億詞級別的文本規模上進行訓練的

5.5. 假設一個人平均每分鐘能閱讀200個單詞，那么在80年的壽命中，他大約能閱讀80億個單詞

• 5.5.1. 前提是他24小時不間斷閱讀，其他什么也不做

5.6. 美國人平均每天花大約15分鐘讀書，一年下來一個人大約能閱讀100萬個單詞

• 5.6.1. 與大語言模型在短短一個月的訓練中處理的單詞數量相比，相差了約6個數量級

5.7. 不到10年的時間，訓練最佳人工智能模型的計算量已經躍升了9個數量級—從2 petaFLOP（一個衡量計算機性能的重要單位）飆升至100億petaFLOP

5.8. 如今，尖端的芯片制程已達到了3納米

• 5.8.1. 晶體管尺寸日益縮小，已逼近物理極限

• 5.8.2. 在這種尺寸上，電子間的相互干擾越發嚴重，從而影響計算過程的準確性

5.9. 縮放假設

• 5.9.1. 系統性能提升的主要驅動力就是簡單地擴大規模

• 5.9.2. 只要持續增加數據、參數和計算量來擴展模型，它們就能不斷提升性能，甚至可能達到或超越人類水平的智能

5.10. 人工智能在追求復制人類智慧的過程中，仿佛是在追逐一個不斷變化、難以捉摸的目標，這個目標總有一些難以言喻的元素永遠無法企及

5.11. 人腦常被認為是宇宙中已知的最復雜的物體

• 5.11.1. 從更廣泛的視角來看，我們是情感豐富、具有社交屬性的復雜生物

• 5.11.2. 人類完成特定任務的能力，即人類智慧本身，實際上是相當固定的，盡管這種能力強大且多面

• 5.11.3. 算力的規模在不斷擴展，而我們的大腦并不會逐年發生巨大的變化

• 5.11.4. 隨著時間的推移，人工智能與人類大腦復雜程度的差距將逐漸縮小

• 5.11.5. 計算規模的提升雖是強大的推動力，卻并非人工智能實現指數級改進的唯一途徑

5.12. 人工智能正變得越來越擅長用更少的資源做更多的事

5.13. 人工智能確實讓潛在的傷害、濫用和錯誤信息真實存在，但好消息是，隨著模型的不斷擴大和增強，許多問題正在逐步得到改善

5.14. 人工智能的奇異現象：盡管它在對話中仍然錯誤百出、自相矛盾，但它能讓一個谷歌工程師相信它具有感知能力；而人工智能的批評者則開始嘲笑這一切，聲稱人工智能再次成了炒作的犧牲品，實際上它并未取得什么重大突破

5.15. 人工智能就是“計算機不能做的事情”?

• 5.15.1. 一旦計算機能做到了，它就只不過是個軟件

5.16. 現有的人工智能系統仍在相對狹窄的領域內運作

• 5.16.1. 未來必將迎來真正通用或強大的人工智能，它們能夠在廣泛的復雜任務中達到人類的表現水平，并能夠在這些任務之間順暢切換

• 5.16.2. 這正是縮放假設所預測的未來，也是我們在當前系統中已經看到的初步跡象

5.17. 無須關心意識是否源于某種機器永遠無法觸及的、神秘且難以定義的“火花”?，也不需要去想它是否會從我們今天所知的神經網絡中自然涌現出來

• 5.17.1. 重要的是系統能夠做什么，而不是它是否具有自我意識、理解能力或類人智能

6. 新時代的圖靈測試

6.1. LaMDA模型“感知初現”的故事所展現的，人工智能系統已非常接近通過圖靈測試

6.2. 新時代的圖靈測試可能會考察人工智能能否獨立完成這樣的任務：在幾個月內，用10萬美元的投資在亞馬遜上賺取100萬美元

6.3. 在當今世界經濟中，對眾多任務而言，一臺電腦便可輕松應對

• 6.3.1. 從某種意義上說，全球GDP（國內生產總值）的很大一部分都是通過基于屏幕的人工智能界面來實現的

6.4. 目前的主要挑戰在于如何推進人工智能開發者所稱的“分層規劃”?，即將多個目標、子目標和能力整合到一個無縫的流程中，服務于一個單一的目標

• 6.4.1. 一旦分層規劃得以實現，人工智能的能力將進一步獲得顯著提升，它將能夠被嵌入一個企業或組織及其所有的歷史數據和實際需求中，從而能夠執行諸如游說、銷售、制造、招聘、計劃等任務

• 6.4.2. 公司能做的所有事情，人工智能都能勝任，只需一小隊人類管理者來負責監督、復核、實施，并與人工智能共同擔任CEO

6.5. “人工能力智能”?，即人工智能可以在最低程度的監督下完成復雜的目標和任務

6.6. 人工智能的早期階段主要關注分類和預測

• 6.6.1. 盡管它具備一定的能力，但這些能力僅局限于明確界定的范圍和預設的任務內

6.7. 人工能力智能代表著人工智能發展的下一個重要階段

• 6.7.1. 在這一階段，人工智能系統不僅可以識別和生成與特定語境相契合的新穎的圖像、音頻和語言，還能實時與真實用戶進行交互

• 6.7.2. 它憑借增強的記憶能力，能在較長時間內維持這些能力的一致性，并能夠利用其他數據來源，如第三方的知識、產品或供應鏈組件數據庫等

• 6.7.3. 所有這一切都將極大地擴展人工智能工具的使用，提升其執行一系列廣泛的復雜實用任務的能力

6.8. 算力的巨大提升將催生出頂級的模型

6.9. 人工智能絕不僅僅是一項新技術那么簡單，它比任何技術都要深刻得多、強大得多

• 6.9.1. 真正的風險并不在于對其過度炒作，而在于我們可能低估了即將到來的技術浪潮的規模

• 6.9.2. 人工智能不僅僅是一種工具或平臺，而且是一種具有變革性的元技術，是推動技術和一切事物發展的背后的力量

• 6.9.3. 它本身就是工具和平臺的創造者，不僅僅是一個系統，而且是一個能夠生成各種類型系統的生成器