10月22日，未來生命研究所（Future of Life Institute，F(xiàn)LI）宣布，包括AI教父杰弗里·辛頓在內(nèi)的超800名科技領袖及公眾人物，日前共同簽署發(fā)布一份倡議，呼吁在“超級智能”技術被科學界普遍認定為可控、安全，并獲得公眾廣泛支持之前，暫停其進一步發(fā)展。

這份聯(lián)合聲明的簽名名單包含了世界上最有影響力的科技領袖、科學家和公眾人物。其中不僅有蘋果公司聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克（Steve Wozniak）、維珍集團董事長理查·布蘭森（Richard Branson）等科技產(chǎn)業(yè)界大佬，名單覆蓋范圍甚至已遠遠超出了硅谷。

前美國國家安全顧問蘇珊·賴斯、前參謀長聯(lián)席會議主席邁克·馬倫也位列其中，顯示了對國家科技安全的嚴重擔憂。甚至連英國王妃梅根、特朗普的盟友史蒂夫·班農(nóng)也出現(xiàn)在簽署名單上，這種跨越政治立場的聯(lián)合極為罕見。這份跨領域聯(lián)合陣容顯示出超級AI的風險議題已從學術圈蔓延至政治與社會治理層面，成為全球公共議題之一。

據(jù)統(tǒng)計截至23日中午，這份聲明的簽署人數(shù)已經(jīng)超過3000人。在中國學術界，多位知名學者參與聯(lián)署此次倡議，包括姚期智、清華大學公共管理學院院長薛瀾、清華大學智能產(chǎn)業(yè)研究院院長張亞勤以及人工智能倫理與治理專家曾毅。他們的參與和主張呼應了中國長期倡導的“安全、可靠、可控”和“以人為本”的人工智能發(fā)展理念。

“超級智能的前景已經(jīng)引起了人們的關注，其影響從人類經(jīng)濟的落伍和權力的剝奪，自由、公民權利、尊嚴和控制權的喪失，到國家安全風險，甚至可能導致人類滅絕?！焙灻邆儑勒?。倡議明確指向，超級智能并非傳統(tǒng)意義上的“算法偏見”或“就業(yè)沖擊”問題，而是潛在的系統(tǒng)性風險；一旦AI能力全面超越人類，其目標函數(shù)若與人類利益錯位，可能導致不可逆的社會后果。

事實上，早在人工智能爆發(fā)元年的2023年，出于對AI的擔憂，包括馬斯克、斯蒂夫·沃茲尼亞克在內(nèi)的1000多名人工智能專家和行業(yè)高管就曾集體簽署過一份公開信，呼吁人類暫停開發(fā)更強大的人工智能至少6個月。而更早之前，著名物理學家霍金生前曾與多位科技界名人發(fā)表聯(lián)署公開信，表示人工智能對人類的威脅更甚于核武器。

“世界尚未準備好迎接不是可控工具的超級智能。”參與本次聯(lián)署的北京前瞻人工智能安全與治理研究院院長，中國科學院自動化研究所研究員曾毅在個人微信朋友圈直言:“目前我們還沒有堅實的科學證據(jù)和切實可行的方法來確保超級智能的安全，使其不會給人類帶來災難性的風險?！?/p>

所謂“超級智能”，是指在所有核心認知任務上全面超越人類能力的人工智能形式。

“如果以50年為限，超級智能一定會到來”。這是曾毅在2024年底的央視直播中曾下過的斷語。當記者拋出“人工智能超過人類智慧，擁有人類情感的這一天是否會到來？”的問題時，曾毅想提出的卻是另一個問題：當超級智能到來的時候，人類是不是能夠做好準備？

“有一個觀點說AI是中立的，對此我極不認同。其實人類的偏見、歧視、仇恨是會被內(nèi)化到AI中，沒有任何一種構造超級智能的方式是沒有風險的?！痹谠憧磥?，一旦選定了正確的方式去構造AI，它的智能水平必然會超越人類，但與此同時，受益于正確價值護欄的超級智能也可以是超級利他的，超級共情的，因此他認為反而是“擁有自我的AI才會令人類社會更安全。”

曾毅曾經(jīng)預測，和現(xiàn)在的智能體大多使用硅基材料不同，未來的類腦智能體有可能會使用生物材料。以前的智能體是存算分離的，類腦智能的硬件可以存算一體，與擔心機器人取代就業(yè)機會相比，人們對超級智能體的擔憂則因未知而充滿不確定性。

參與本次聯(lián)署呼吁的圖靈獎得主、深度學習三巨頭之一的約書亞·本吉奧（Yoshua Bengio）也指出，要安全地邁向“超級智能”，我們必須通過科學手段設計出在根本上無法傷害人類的人工智能系統(tǒng)——無論是由于目標偏差，還是被惡意利用。同時他曾多次在公開場合強調(diào)，公眾也應在塑造人類共同未來的決策中擁有更強的話語權。

值得一提的是，發(fā)起本次倡議的未來生命研究所，同期還曾發(fā)布一項美國全國性民意調(diào)查，顯示公眾對當前人工智能的發(fā)展方向普遍不滿。僅有5%的受訪者支持目前“無監(jiān)管的AI開發(fā)現(xiàn)狀”，而高達73%的受訪者支持建立更為嚴格的監(jiān)管機制，另有64%的受訪者認為，在科學界尚未就安全與可控性達成共識之前，不應開發(fā)“超級智能”。

從宏觀趨勢看，AI風險治理的國際分歧正在加劇。美國與歐盟正推動不同版本的“AI法案”，其中歐盟強調(diào)透明度與可追溯性，美國則側(cè)重市場自律與行業(yè)標準化。有分析認為，此次倡議或可推動G20或聯(lián)合國層面的技術倫理議題重啟，使AI治理從自律階段走向多邊協(xié)商階段。