1. 面對面測試

1.1. ChatGPT已經(jīng)接受了用戶數(shù)十億次的“面對面測試”?，而用戶對其表現(xiàn)的評價(jià)也各不相同

1.2. LaMDA不僅能夠理解社會(huì)概念，還具備心智理論建模能力，而后者被一些人認(rèn)為是意識(shí)產(chǎn)生的關(guān)鍵

1.3. 作為對話伙伴，語言模型還稱不上可靠

• 1.3.1. 它偶爾還會(huì)出現(xiàn)拼寫錯(cuò)誤，有時(shí)甚至?xí)龀龌靵y或荒謬的回應(yīng)

1.4. 神經(jīng)語言模型的代碼結(jié)構(gòu)其實(shí)很簡單，幾秒鐘就能瀏覽完

• 1.4.1. 它們的核心就是一系列對大型數(shù)值矩陣進(jìn)行加法和乘法運(yùn)算的指令

• 1.4.2. 經(jīng)過精心訓(xùn)練得到的參數(shù)或權(quán)重，它們在功能上類似于大腦中神經(jīng)元之間突觸連接的強(qiáng)度

• 1.4.3. “激活值”?，其作用類似于神經(jīng)元的實(shí)時(shí)活動(dòng)水平

1.5. 真實(shí)的大腦結(jié)構(gòu)要比這些高度簡化的模型神經(jīng)元復(fù)雜得多

• 1.5.1. 就像鳥類翅膀與萊特兄弟首架飛機(jī)機(jī)翼之間的差異一樣，盡管復(fù)雜程度相差巨大，但基本原理是相通的

• 1.5.2. 如果說翅膀的功能是產(chǎn)生升力，那么大腦皮質(zhì)的核心功能可能就是預(yù)測序列

1.6. 為了確保模型真正理解而不是簡單記憶，訓(xùn)練時(shí)會(huì)使用不同的數(shù)據(jù)集，就像考試要更換試題防止學(xué)生抄襲往年答案一樣

1.7. 人類大腦處理信息的方式其實(shí)也類似

• 1.7.1. 當(dāng)我們的大腦接收外界信息時(shí)，無論是視覺、聽覺、觸覺還是其他感官輸入，最終都會(huì)被轉(zhuǎn)換為神經(jīng)元的激活模式

• 1.7.2. 大腦的核心工作就是將這些信息關(guān)聯(lián)起來，利用已有的輸入來預(yù)測和補(bǔ)充缺失的信息

• 1.7.3. 正是通過這種方式，我們的大腦才能將紛繁復(fù)雜、支離破碎的感官信息整合起來，創(chuàng)造出一個(gè)看似穩(wěn)定、細(xì)致且可預(yù)測的世界

1.8. 語言是一種高效工具，它可以幫助我們提煉和推理世界中的規(guī)律性模式，并將其準(zhǔn)確表達(dá)出來

• 1.8.1. 語言可以被視為一種特定的信息流，既包括聽覺形式的口語，也包括視覺形式的書面語言，我們不僅能接收這些信息，也能創(chuàng)造它們

• 1.8.2. 由Alphabet公司（谷歌母公司)旗下的人工智能實(shí)驗(yàn)室DeepMind（深度思考)開發(fā)的Gato模型，不僅具備語言能力，還配備視覺系統(tǒng)和機(jī)械臂，可以完成積木操作、游戲互動(dòng)、場景描述和對話交流等多項(xiàng)任務(wù)

• 1.8.2.1. 其核心仍是一個(gè)與LaMDA原理相同的序列預(yù)測器，只是Gato的輸入輸出序列額外包含了視覺感知和運(yùn)動(dòng)指令

1.9. 人類學(xué)家羅賓·鄧巴在20世紀(jì)80年代末提出了社會(huì)大腦假說，這是關(guān)于智能生物起源的眾多理論之一

• 1.9.1. 該假說認(rèn)為，人類智能的發(fā)展并非源于在惡劣環(huán)境中生存的需求，因?yàn)樵S多腦容量較小的動(dòng)物同樣能夠很好地生存

• 1.9.2. 真正推動(dòng)這場智能爆發(fā)的，是人類之間的社交互動(dòng)，即為了理解和預(yù)測其他人的想法與行為，而“其他人”恰恰是已知宇宙中最復(fù)雜的存在

1.10. 理解他人的內(nèi)心世界，洞察他們的感知、思維和情感，是人類最偉大的能力之一

• 1.10.1. 這種能力讓我們能夠與他人產(chǎn)生共情，預(yù)測他人的行為，并且在不訴諸武力的情況下影響他人的行動(dòng)

• 1.10.2. 當(dāng)我們將這種心理建模能力轉(zhuǎn)向自身時(shí)，就能夠?qū)崿F(xiàn)內(nèi)省，理性解釋自己的行為，并對未來進(jìn)行規(guī)劃

1.11. 這種形成穩(wěn)定的自我心理模型的能力，被普遍認(rèn)為是構(gòu)成“意識(shí)”現(xiàn)象的核心要素

• 1.11.1. 意識(shí)并非機(jī)器中的某種神秘存在，而僅僅是我們用來描述“體驗(yàn)成為自己或他人是什么感覺”這一建模過程的概念

• 1.11.2. 我們要思考他們是如何看待我們的想法的，以及他們會(huì)如何揣測共同朋友對我們的看法

• 1.11.3. 在進(jìn)化過程中，擁有較大腦容量的個(gè)體在繁殖方面具有優(yōu)勢，而更復(fù)雜的心智也更難被他人準(zhǔn)確解讀

• 1.11.3.1. 這種相互建模的競爭可能正是導(dǎo)致人類大腦規(guī)模呈指數(shù)級增長的原因

1.12. LaMDA不僅能理解基本事實(shí)，更能理解復(fù)雜的社會(huì)互動(dòng)

• 1.12.1. 這種高層次的社會(huì)認(rèn)知建模能力，不僅展示了人工智能系統(tǒng)的進(jìn)步，更表明了智能本身就具有社會(huì)性的特質(zhì)

1.13. 一些富有洞察力的專家，包括認(rèn)知科學(xué)家，提出我們不僅已經(jīng)實(shí)現(xiàn)了真正的人工智能，甚至正在接近實(shí)現(xiàn)人工意識(shí)（artificial consciousness)的臨界點(diǎn)

• 1.13.1. 戴維·本德最近致力于開發(fā)各種新穎的GPT-3檢測方法，這些方法揭示了其華麗表面下令人驚訝的空洞本質(zhì)

• 1.13.2. GPT-3背后并沒有真正的概念理解能力，它僅僅是通過處理海量文本數(shù)據(jù)來生成回應(yīng)

• 1.13.3. 它完全意識(shí)不到自己在胡說八道

• 1.13.4. 同樣的情況也適用于它對其他荒謬想法的回應(yīng)，比如“第二次運(yùn)送埃及穿越金門大橋”?，或是“制造一英里[插圖]高的花瓶”這類明顯不切實(shí)際的概念

2. 提示詞的力量

2.1. 每次面對面測試前都會(huì)對預(yù)訓(xùn)練的大語言模型進(jìn)行提示詞引導(dǎo)

• 2.1.1. 這種引導(dǎo)不僅用領(lǐng)域相關(guān)的示例來為對話做準(zhǔn)備，更重要的是它能夠調(diào)整大語言模型的行為方式

• 2.1.2. 這種引導(dǎo)可以被視為一種單次學(xué)習(xí)的形式，是大語言模型技術(shù)的重大突破，極大提升了模型回應(yīng)的靈活性

• 2.1.3. 大語言模型在獲得一個(gè)示例的引導(dǎo)后，就能夠解決需要運(yùn)用思維鏈來解決的復(fù)雜文字問題

2.2. 通過額外訓(xùn)練，預(yù)訓(xùn)練的大語言模型可以進(jìn)行微調(diào)，使其能夠適應(yīng)不同的語言任務(wù)，這類似于指導(dǎo)他人完成特定工作

• 2.2.1. 微調(diào)的另一個(gè)重要作用是引導(dǎo)模型避免不當(dāng)或具有冒犯性的回應(yīng)

• 2.2.2. 通過微調(diào)可以確保其安全性，消除偏見，同時(shí)保持良好的基礎(chǔ)能力，并確保輸出內(nèi)容的準(zhǔn)確性、合理性、具體性和趣味性

2.3. 提示是一種能夠顯著影響大語言模型后續(xù)輸出的技術(shù)手段，這也是造成不同面對面測試結(jié)果之間差異顯著的重要原因

2.4. ChatGPT的響應(yīng)在很大程度上取決于提示詞的設(shè)計(jì)

• 2.4.1. 未經(jīng)恰當(dāng)提示時(shí)，ChatGPT表現(xiàn)出明顯的盲目性和不確定性

• 2.4.2. 在合理的提示引導(dǎo)下，ChatGPT不僅能夠準(zhǔn)確識(shí)別無意義內(nèi)容，還能對此進(jìn)行合理解釋，甚至能夠處理反事實(shí)推理問題

2.5. 解釋的本質(zhì)不僅僅局限于敘述事實(shí)，它還應(yīng)該具備預(yù)測能力，即在假設(shè)條件發(fā)生改變時(shí)，能夠推斷可能的結(jié)果，這就是所謂的反事實(shí)推理

• 2.5.1. 反事實(shí)推理與因果關(guān)系有著密切的聯(lián)系

2.6. 生成式人工智能通過對海量帶標(biāo)注的圖片數(shù)據(jù)集進(jìn)行學(xué)習(xí)和泛化，已經(jīng)能夠根據(jù)文字提示來生成圖像

• 2.6.1. Adobe Firefly、Midjourney、Stable Diffusion和DALL-E等開放平臺(tái)可以在短短幾秒內(nèi)根據(jù)簡單的文字描述生成圖片

2.7. 當(dāng)人們欣賞一幅畫作時(shí)，大腦會(huì)將其以高度編碼的形式存儲(chǔ)在記憶中，這些記憶可以通過多種方式被調(diào)用和運(yùn)用

• 2.7.1. 人們的創(chuàng)作會(huì)不可避免地受到所見過的所有藝術(shù)作品的影響

• 2.7.2. 普遍認(rèn)為，這種藝術(shù)影響并不構(gòu)成剽竊，除非創(chuàng)作者完全復(fù)制了原作

2.8. 人工智能在創(chuàng)作領(lǐng)域展現(xiàn)出前所未有的高效率和多樣性，能夠快速創(chuàng)作出大量作品，而這些領(lǐng)域曾經(jīng)完全由人類主導(dǎo)

• 2.8.1. 隨著人工智能技術(shù)的不斷進(jìn)步和完善，未來它們或許真的能在某些方面超越頂尖人類藝術(shù)家的創(chuàng)作水平

2.9. 提示塑造人格特征

• 2.9.1. 大語言模型并非固定具有某種特定人格，而是能夠根據(jù)不同的提示詞和問題展現(xiàn)出多樣的人格特征

• 2.9.2. 大語言模型的訓(xùn)練數(shù)據(jù)來自各種渠道的多重模態(tài)分布

• 2.9.2.1. Transformer能夠在這些多源數(shù)據(jù)的不同分布中實(shí)現(xiàn)有效泛化

• 2.9.3. 提示詞的核心功能在于引導(dǎo)大語言模型在適當(dāng)?shù)娜烁裉卣髯涌臻g中運(yùn)行，使其能夠在該特定空間內(nèi)產(chǎn)生恰當(dāng)且連貫的響應(yīng)

• 2.9.4. ChatGPT的測試證明它具備了一些我們以前認(rèn)為只有人類才具有的能力，但這并不意味著它的能力與人類完全相同

2.10. 通過提示進(jìn)行教學(xué)

• 2.10.1. 優(yōu)秀教師在與學(xué)生互動(dòng)時(shí)，關(guān)鍵在于三點(diǎn)

• 2.10.1.1. 他們清楚了解學(xué)生的知識(shí)盲點(diǎn)

• 2.10.1.2. 們能夠準(zhǔn)確把握學(xué)生真正需要掌握的核心內(nèi)容

• 2.10.1.3. 他們善于激發(fā)學(xué)生的學(xué)習(xí)積極性，幫助學(xué)生將新知識(shí)有效地整合到已有的知識(shí)體系中

• 2.10.2. 要掌握如何應(yīng)對大語言模型那些看似神奇的行為表現(xiàn)，確實(shí)需要一定的實(shí)踐經(jīng)驗(yàn)

• 2.10.3. 隨著你在提示工程領(lǐng)域經(jīng)驗(yàn)的積累，你會(huì)逐步了解大語言模型的特點(diǎn)和行為模式，這個(gè)過程就像逐漸熟悉一個(gè)人的性格特點(diǎn)一樣自然

• 2.10.4. 通過持續(xù)的實(shí)踐和探索，你最終可以成長為一名專業(yè)的提示工程師

• 2.10.4.1. 要成為優(yōu)秀的提示工程師，核心在于對語言的執(zhí)著追求

• 2.10.5. 關(guān)鍵在于工具的實(shí)用價(jià)值：如果它能有效完成任務(wù)，我們就應(yīng)該善加利用

• 2.10.5.1. 工具的實(shí)用性不應(yīng)該受制于關(guān)于人工智能本質(zhì)的學(xué)術(shù)爭論

2.11. 插件讓思維更聚焦

• 2.11.1. 幻覺現(xiàn)象仍是一個(gè)值得關(guān)注的問題

• 2.11.2. 必應(yīng)通過提供網(wǎng)址鏈接，使信息核實(shí)變得更便捷

• 2.11.3. ChatGPT在數(shù)學(xué)運(yùn)算方面的表現(xiàn)較弱，但通過Wolfram插件可以彌補(bǔ)這一不足

• 2.11.3.1. 該插件提供計(jì)算功能、圖形工具包和Wolfram Alpha的實(shí)時(shí)數(shù)據(jù)支持

• 2.11.4. GPT-4.5借助鏈接閱讀器插件，能夠查詢網(wǎng)站并追蹤論文

2.12. 在沒有更多上下文的情況下，很難確定這些改編詩句的確切含義，但它們似乎是一個(gè)巧妙的文字游戲，將技術(shù)和文學(xué)結(jié)合在一起

3. 高效提示法則

3.1. 不應(yīng)只要求一個(gè)回答，而應(yīng)要求10個(gè)回答

3.2. 對好的和不好的回答都給出反饋

3.3. 挑選最好的幾個(gè)回答，解釋原因并說明如何改進(jìn)

3.4. 你的要求越具體，就能越快得到最佳回答

3.5. 將對話塑造成像與真人交談一樣

3.6. 保持禮貌和體貼，因?yàn)檫@會(huì)讓你感覺更好

3.7. 隨著你的提示技巧不斷提升，這項(xiàng)能力會(huì)逐漸成為你的獨(dú)特優(yōu)勢