1. 超級智能

1.1. 如果人工智能超越人類智能，可能會成為人類存在的一個重大威脅

• 1.1.1. 對超級人工智能潛在危險最為擔憂的群體中，恰恰包括那些否認大語言模型具備真正智能的人

1.2. 計算機科學已經成為所有科學領域中不可或缺的重要組成部

1.3. GPT具備編寫計算機程序的能力，這意味著它在未來可能開發出用于自我增強的程序

• 1.3.1. 杰弗里·辛頓

2. 機器與大腦的學習機制

2.1. ImageNet是一個龐大的數據庫，涵蓋了20000個不同類別的1400萬張帶標簽的圖片

2.2. 項目名為“神經計算與適應性感知”?，由杰弗里·辛頓在2004年發起

• 2.2.1. 當神經網絡研究被普遍視為無望而遭人遺棄時，這群研究者卻堅守了幾十年

2.3. Llama 2推出的同時將開源

• 2.3.1. 目前，已有大約八家小型人工智能企業公開了它們自主研發的小語言模型

3. 超級智能出現的可能性

3.1. 在缺乏數據的情況下進行推測的問題在于，判斷往往只是基于個人的先入之見

3.2. 人們的關注點往往聚焦于超級智能被用于不正當目的的風險

3.3. 在最佳情況下，超級智能不僅能促進我們的健康和財富，還能幫助我們預防由人類活動引發的災難

3.4. 我們應該謹慎而行，而不是陷入恐慌，因為這是一個不可避免的挑戰

3.5. 只有在技術成功之后，人們才開始認真討論它可能帶來的后果和影響

• 3.5.1. 這種現象在原子彈的研制過程中得到了充分體現

3.6. 當初，人們沒有預見到互聯網會讓信息傳播變得如此廣泛，互聯網架構師認為這是一種更純粹的民主形式，但他們沒有預料到假新聞和信息繭房的擴散

3.7. 人工智能在模擬空戰中已經超越了頂尖的人類飛行員

• 3.7.1. 未來的全球性沖突中，戰斗機飛行員將擁有“忠誠的”僚機—這些自主無人機將圍繞他們飛行，執行偵察任務，標記目標，干擾敵方信號，并通過大語言模型與飛行員保持通信，同時協同執行空襲任務

3.8. 防止核武器擴散需要國際合作與協議

3.9. 在20世紀，物理學家們揭開了宇宙的神秘面紗，相對論和量子力學如同兩顆璀璨的星辰，照亮了現代物理世界的每一個角落

• 3.9.1. 物理學的雙刃劍—它既賦予了人類普羅米修斯般的力量，也帶來了毀滅性的原子彈

• 3.9.2. 要為那些不可預知的后果做好充分的準備

4. 監管

4.1. 新技術如同雙刃劍，既能為人類帶來福祉，也可能被用于不正當的目的

• 4.1.1. 在現實生活中，確實有不法分子企圖濫用人工智能

4.2. 在大語言模型剛剛起步的時候，學者們還能自己搭建一些小型的語言模型

• 4.2.1. 現在，這些模型變得非常龐大，只有少數幾個科技巨頭才有能力訓練它們，因為需要巨大的計算資源、海量的數據和巨額的資金

4.3. 當ChatGPT向大眾開放時，OpenAI已經從非營利性組織轉變為一個內部包含營利部門的公司，并且不再公開自己的技術細節，實際上變成一家封閉的人工智能公司

4.4. Meta公司自己也開發了大語言模型Llama，只讓少數幾個學術實驗室先試用

• 4.4.1. Llama的模型和代碼被人泄露了，傳得到處都是，這讓全世界很多團隊都能對這個模型進行微調，還能用這些代碼來創造新的東西

4.5. 那篇在2017年發表、開創了Transformer架構的論文的八位作者，都已經離開了谷歌，自己創業，并成功籌集了數十億美元資金

4.6. 如果人工智能行業不能自我監管，政府將不得不介入

• 4.6.1. 參與法律制定過程變得尤為關鍵

• 4.6.2. 風險在于，過于嚴格的法規可能會抑制創新，即使是出于好意的法規，也可能帶來意料之外的后果

4.7. 主要影響

• 4.7.1. 隱私法：鑒于大語言模型依賴于海量數據進行訓練，這可能觸發與個人數據隱私和保護相關的問題

• 4.7.2. 版權法：大語言模型創作的內容（如文章、音樂或藝術作品)引發了版權歸屬的疑問

• 4.7.3. 責任法：如果大語言模型給出的建議導致損害，誰應該承擔責任？

• 4.7.3.1. 是使用者、開發者，還是擁有該模型的組織？

• 4.7.3.2. 現行法律可能還無法處理此類情況

• 4.7.4. 勞動法：隨著大語言模型等人工智能技術逐漸替代人類在某些領域的工作，我們可能會面臨深刻的社會結構轉變

• 4.7.4.1. 為應對這一變化，有必要對現有的勞動和就業法律進行相應的更新和完善

• 4.7.5. 反歧視法：大語言模型可能會在無意中延續或放大訓練數據中存在的偏見，進而導致歧視性后果，因此需要根據現行反歧視法規進行審查

• 4.7.6. 人工智能監管：隨著大語言模型逐漸融入社會，亟須制定專門法規來規范其使用，類似于對其他技術的現有監管

• 4.7.6.1. 這些法規應涵蓋透明度、問責制和倫理使用等標準

• 4.7.7. 大語言模型引發的法律問題既復雜又充滿未知

4.8. 為了妥善應對這些挑戰，需要技術專家、法律專家、政策制定者，以及社會各界進行深入的對話和廣泛的合作

5. 自我監管

5.1. 度學習人工智能系統存在一些廣為人知的缺陷，例如隱私侵犯、偏見，以及種族歧視等問題，這些問題已經引起了業界的廣泛關注，并正在積極尋求解決方案

5.2. 新技術的發展往往伴隨著一個長期的迭代和優化過程，目的是確保技術在社會中的合理應用，防止其被濫用

5.3. 在20世紀70年代，生物學家們發明了重組基因技術，目的是操控和分離感興趣的DNA片段，將不同物種的DNA結合起來，并創造新的功能

• 5.3.1. 不僅能夠編輯DNA，還有可能創造出全新的生命形態

• 5.3.2. 擁有巨大的潛力，可以改良作物和治療疾病，但同時也伴隨著風險，比如可能引發超級病毒和致癌病毒的釋放

5.4. 分子生物學家們沒有被動等待監管機構介入，而是主動發起并組織了一次關于重組DNA分子的國際會議

• 5.4.1. 這次會議于1975年2月在加利福尼亞州太平洋叢林鎮的阿西洛馬會議中心召開

5.5. 在重組DNA的研究中，若其應用不會顯著提升致病風險或對生態系統造成負面影響，則適用較為寬松的防控措施

5.6. 對于那些可能引發嚴重后果，并對實驗室工作人員或公眾健康構成重大生物安全威脅的轉基因生物，必須實施嚴格的防控策略

• 5.6.1. 旨在確保研究能夠在遵循嚴格指導原則的前提下繼續進行

• 5.6.2. 確保了科學家們能夠在保障安全的前提下進行實驗，并推動科學的進步

5.7. 自律監管看似人工智能領域發展的明智之選，但鑒于業界觀點分歧巨大且企業界存在強烈的利益訴求，其實施起來困難重重

• 5.7.1. 當前正是科學家和工程師們深入掌握人工智能技術，與政策制定者攜手，共同構建靈活而有效的監管框架的絕佳時刻

6. 政府監管

6.1. 人工智能技術的迅猛發展使得這些法規在制定時就已經顯得落后

6.2. 已經部署的工具所帶來的益處遠超過其潛在風險，但確保它們的安全性對我們而言至關重要

6.3. 嚴格的監管政策可能更有利于資金雄厚的大型科技公司

• 6.3.1. 只有這些公司才有能力承擔高昂的測試費用，類似于制藥企業必須投入巨額資金進行臨床試驗一樣

6.4. 一方主張謹慎推進技術發展，而另一方則力主加速創新步伐

7. 版權

7.1. 大語言模型匯集了人類思想的精華與糟粕

7.2. 模型在訓練時，未經原作者許可便使用了無數作家、詩人和小說家的作品

7.3. 創作者的思維無疑受到了他們所閱讀書籍的影響，與大語言模型的創建過程頗為相似，只是規模較小

7.4. 根據現行法律，除非他們抄襲了大段未注明出處的文本，否則不受版權法的限制

7.5. DALL-E 2、Midjourney、Stable Diffusion和Adobe Firefly等程序能夠根據簡單的文字提示迅速生成圖像，并能夠以任何指定的風格呈現成品

• 7.5.1. 這些AI應用的訓練數據來源于互聯網，無版權保證

7.6. 藝術家的想法是：無論是作品被直接使用，還是風格被模仿，都應獲得相應的補償

• 7.6.1. 歷史上，一直有造假者能夠制作出大師作品，且能達到以假亂真的程度

• 7.6.2. 那些尋求補償的藝術家在創作新作品時，也深受他們所有所見畫作的影響，這與人工智能生成技術并無本質區別

• 7.6.3. ?“抄襲法”針對的對象是明確的復制行為，而非風格的相似性

7.7. 藝術家們害怕人工智能搶了他們的“飯碗”?

• 7.7.1. 這種擔憂并非沒有道理，但歷史提供了一個有力的對比：攝影技術的誕生并沒有取代繪畫藝術，而是催生了一種全新的藝術形式，與繪畫和油畫等傳統藝術形式和諧共存

7.8. 如果攝影在成熟之前就被禁止，藝術文化就會因為失去了創造性地利用這項技術的機會而變得貧乏

• 7.8.1. 禁止攝影將帶來一系列不可預見的負面后果：人們將無法拍攝親人的照片，因為只有富人才能負擔得起請畫家繪制肖像；人們無法通過電影來記錄歷史和娛樂大眾；智能手機也不會有相機功能

7.9. 技術實際上拓展了人類的表現力，豐富了人類的體驗

• 7.9.1. 對于人工智能技術，我們也應該持開放態度，探索其在藝術領域的潛力，而不是急于禁止

7.10. 相比冗長的法律訴訟過程，人工智能技術發展迅猛

• 7.10.1. 訓練大語言模型所使用的數據質量對其最終表現有著決定性影響

• 7.10.2. 各大人工智能公司已紛紛開始爭取優質大型數據庫的使用授權

• 7.10.3. 如果高質量數據能使訓練時長和模型規模降至之前的十分之一乃至百分之一，那么精選數據庫的授權與交易市場必將應運而生

8. 信任

8.1. ChatGPT在科研論文寫作領域已經獲得了廣泛應用

8.2. 對非英語母語的研究人員來說，它是編輯英文論文手稿的得力助手

8.3. 有些作者甚至認為應該將ChatGPT列為論文的共同作者，事實上在《自然》雜志發表的文章中，確實出現過將ChatGPT列為共同作者的案例

8.4. 人工智能的發展正在挑戰我們許多既有的倫理觀念

9. 人工智能監管方式

9.1. 行業自律監管：該方案借鑒了20世紀70年代分子生物學界的自我約束模式

9.2. 國際協同監管：本章將人工智能可能帶來的生存風險與核武器威脅相類比，提出應借鑒核裁軍條約的經驗，建立國際監管框架

9.3. 政府主導監管：政府干預監管人工智能的可行性

9.4. 鑒于人工智能技術的快速發展及其潛在風險，加強監管已刻不容緩