寫作背景

??從去年年底ChatGPT的發(fā)布以來，作為自然語言處理（natural language processing，NLP）一線從業(yè)人員，我本人已經(jīng)感受到了巨大壓力，甚至覺得NLP工程師這個職位以后一定會消亡。當(dāng)時在見識了ChatGPT的各種強(qiáng)大能力后，不少NLP一線從業(yè)人員很自然地就會想到，以后開發(fā)人員只要借助ChatGPT，就可以做到現(xiàn)在大部分NLP工程師在做的事，比如文本分類、實(shí)體抽取、推理等。甚至隨著大語言模型（large language model，LLM）能力的不斷提升，可能做的比NLP工程是都要好。既然這是遲早會發(fā)生的事，干脆我們就再點(diǎn)把火，寫一本書告訴開發(fā)人員或有一些編程能力的人去利用大語言模型做一些NLP任務(wù)或服務(wù)，讓變革來的更猛烈些。

??于是，就有了現(xiàn)在這本關(guān)于大語言模型的開發(fā)指南，它主要面向非算法、有一定編程基礎(chǔ)、對AI和ChatGPT（或類似大語言模型）感興趣，并樂意使用大語言模型接口開發(fā)相關(guān)應(yīng)用的讀者。當(dāng)然部分內(nèi)容不需要任何編程經(jīng)驗(yàn)也可以學(xué)習(xí)，算法工程師也可能從中受益。我們期望通過本書能進(jìn)一步降低大模型的使用門檻，讓更多對AI和大語言模型感興趣的非自然語言處理或算法專業(yè)人士能夠無障礙使用大語言模型創(chuàng)造價值。希望新的技術(shù)突破能夠更多地改善我們所處的世界。

??NLP工程師未來會不會存在現(xiàn)在猶未可知（就像沒有公司有office工程師一樣），但如果每個企業(yè)，尤其是中小企業(yè)都能自由地使用大語言模型的能力創(chuàng)造AI服務(wù)或應(yīng)用，這不正是自己這些年的理想嗎？我曾在幾家小公司呆過，深刻知曉和理解小企業(yè)對AI的“情”，那種想用但又無力的矛盾。他們大多非常珍惜AI人才，但又不能大量投入。類似ChatGPT這樣的大語言模型讓他們異常興奮。我們就是想要架起這么一座橋梁，讓沒有任何算法背景的開發(fā)人員能夠盡量無縫、順滑地對接起算法工作。我們期望授人以漁，把方法傳播給更多人，也算是對這個行業(yè)的一點(diǎn)貢獻(xiàn)吧。

內(nèi)容設(shè)計

??本書內(nèi)容聚焦于如何使用大語言模型開發(fā)新的功能和應(yīng)用，一共有七章內(nèi)容，分別如下：

• 第1章 基礎(chǔ)知識——大語言模型背后。本章主要介紹了和ChatGPT相關(guān)的一些NLP領(lǐng)域的基礎(chǔ)知識和原理，具體包括：歷史沿革、Token和Embedding、LM（language model）、Transformer、GPT（generative pre-trained transformer）和RLHF（reinforcement learning from human feedback）等。掌握了這部分知識就能大概知道ChatGPT或其他大語言模型是怎么回事。
• 第2章 相似匹配——萬物皆可Embedding。本章主要介紹了文本表示，以及和文本匹配相關(guān)的任務(wù)和應(yīng)用。這是NLP領(lǐng)域（還有其他一些算法領(lǐng)域）最常用的技術(shù)。具體內(nèi)容包括：相似匹配基礎(chǔ)、接口使用，以及QA任務(wù)、聚類任務(wù)和推薦應(yīng)用。
• 第3章 句詞分類——句子Token都是類別。本章主要介紹了NLP領(lǐng)域最常見的任務(wù)——分類，這其實(shí)也是人類最基本的認(rèn)知方式（比如用男女、老少、勤奮、樂于助人等簡單的標(biāo)簽化方式具象化一個個體）。具體內(nèi)容包括：句詞分類基礎(chǔ)、接口使用，以及文檔問答任務(wù)、分類與實(shí)體識別微調(diào)任務(wù)和智能對話應(yīng)用。
• 第4章 文本生成——超越理解更智能。本章主要介紹了和文本生成技術(shù)相關(guān)的任務(wù)，具體內(nèi)容包括文本摘要、文本糾錯和機(jī)器翻譯。生成技術(shù)在實(shí)際場景中使用會相對少一些，也相對獨(dú)立一些。
• 第5章 文本推理——讓模型更加像人。本章主要介紹如何使用大語言模型做復(fù)雜的邏輯推理任務(wù)，這一塊內(nèi)容在實(shí)際中應(yīng)用很少，但在新的產(chǎn)品形態(tài)上卻有很多想象空間。
• 第6章 工程實(shí)踐——真實(shí)場景大不同。本章主要介紹如何在真實(shí)業(yè)務(wù)上使用大語言模型，這一章內(nèi)容不再是要構(gòu)建一個簡單的Demo，而是要真正用在產(chǎn)品開發(fā)上，我們會給出一些需要特別注意的事項(xiàng)，以幫助讀者更高效地構(gòu)建應(yīng)用。
• 第7章 局限不足——工具不是萬能的。本章主要介紹ChatGPT（或類LLM）的缺陷或不擅長的地方，包括：事實(shí)錯誤、實(shí)時更新、資源耗費(fèi)等。我們在暢想和利用ChatGPT或大模型做各種AI應(yīng)用時，也應(yīng)該了解它不擅長的地方。一方面是對其有更加全面的認(rèn)識；另一方面反向思維有時候也能想象出一些好的應(yīng)用或服務(wù)。
• 第8章 商業(yè)應(yīng)用——LLM的星辰大海。本章可以當(dāng)作一篇調(diào)研報告來閱讀，主要針對工具應(yīng)用和行業(yè)應(yīng)用兩個大的方面展開，期望能夠給讀者更多啟迪，幫助大家構(gòu)思更好的應(yīng)用或服務(wù)。

??本書有兩個基本的設(shè)計理念：

• 各章節(jié)相對獨(dú)立，彼此沒有直接明顯的前后依賴關(guān)系。這體現(xiàn)在內(nèi)容上，也體現(xiàn)在設(shè)計上。讀者可以靈活選取自己感興趣的章節(jié)進(jìn)行閱讀。
• 以“任務(wù)”為核心。我們始終強(qiáng)調(diào)“任務(wù)”多于“工具”，ChatGPT是目前AI大語言模型領(lǐng)域總體效果最好的，但未來一定會有其他大語言模型服務(wù)出現(xiàn)。不過只要我們理解了要做的事情，理解了系統(tǒng)設(shè)計，工具就能為我所用。

??此外，本書還有比較詳細(xì)的示例代碼，大部分的代碼都可稍作修改后用于生產(chǎn)環(huán)境。我們也會著重強(qiáng)調(diào)構(gòu)建實(shí)際應(yīng)用需要注意的細(xì)節(jié)。寫代碼容易，寫好代碼很不容易；做Demo簡單，提供一個穩(wěn)定可靠的服務(wù)很不簡單。讀者在應(yīng)用到實(shí)際產(chǎn)品時務(wù)必要仔細(xì)斟酌權(quán)衡。

閱讀建議

??通過上面的介紹，相信讀者應(yīng)該對本書有了初步了解。我們這里主要從創(chuàng)作者的角度簡單談一下如何更好地使用本書。

??首先，我們期望讀者能夠親自動手完成一個應(yīng)用或服務(wù)的Demo。光看不做在編程領(lǐng)域是絕對不行的，實(shí)踐出真知，腦子想、嘴說和親自干完全不一樣。而且，萬事開頭難，做了第一個，后面再做類似的會相對容易。

??其次，我們期望讀者能在學(xué)習(xí)過程中多思考，可以和自己工作的實(shí)際業(yè)務(wù)相結(jié)合，也可以天馬行空地構(gòu)想。我們非常期待讀者能分享自己的想法，眾人拾柴火焰高，個體能想到的太少了，但這么多人一起想，也許能夠改變一個行業(yè)。

??第三，我們期望讀者能對NLP領(lǐng)域常見任務(wù)有個基本的認(rèn)識，了解一些基本概念。我們不是要讀者都成為NLP工程師，閱讀本書也不會讓你成為NLP算法工程師。但我們期望讀者能夠利用ChatGPT或其他大語言模型提供的接口來完成NLP的任務(wù)，提供相關(guān)服務(wù)，期望讀者在閱讀完本書后都具備這樣的能力。

??第四，洛克菲勒說過：“真正重要的不在于有多少知識，而在于如何使用現(xiàn)有的知識。知識只是潛在的力量，只有將其付諸應(yīng)用，而且是建設(shè)性的應(yīng)用，才會顯示出它的威力”。由于教程圍繞著任務(wù)展開，很多設(shè)計思路和細(xì)節(jié)其實(shí)可以應(yīng)用在多個領(lǐng)域。我們再次強(qiáng)調(diào)，期望讀者能夠多多實(shí)踐，多多應(yīng)用，尤其是和自己的工作多結(jié)合。

??最后，由于創(chuàng)作團(tuán)隊(duì)精力有限，本書難免有些疏漏甚至錯誤，我們期望讀者在學(xué)習(xí)的同時，也能積極給我們建議，我們將不勝感激。