LLaMA大型語言模型

LLaMA (Large Language Model Meta AI)是Meta公司發(fā)布的大型語言模型系列，近日LLaMA種子文件被合并到了GitHub 上，同時一些項目維護者給予了批準，目前該項目在 GitHub 已收獲 7k+ 個星。Meta 宣稱LLaMA 規(guī)模僅為競爭對手 ChatGPT 的“十分之一”，但性能卻優(yōu)于 OpenAI 的 GPT-3 模型。

　　有網(wǎng)友認為這次泄露事件是 Meta 方有意為之，另外一些網(wǎng)友認為只是單純地被泄露。目前，Meta 方面暫未對此事做出回應。有 Meta 員工表示：“Meta 員工可能沒有注意到或仍在思考如何做出反應，因此 PR 仍在進行中。”

　　事實上，無論此事是否是 Meta 有意為之，在部分網(wǎng)友看來，LLaMA 原本的設定就是申請之后即可下載，“被公開是遲早的事情”。

什么是LLaMA

LLaMA是Meta（前臉書）于2月25日首次推出的大型語言模型，相當于超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運行。

公司 CEO 扎克伯格表示，LLaMA 旨在幫助研究人員推進研究工作，LLM（大型語言模型）在文本生成、問題回答、書面材料總結，以及自動證明數(shù)學定理、預測蛋白質(zhì)結構等更復雜的方面也有很大的發(fā)展前景。能夠降低生成式 AI 工具可能帶來的“偏見、有毒評論、產(chǎn)生錯誤信息的可能性”等問題。

　　與 OpenAI 的 GPT-3 相比，Meta 在一開始就將 LLaMA 定位成一個“開源的研究工具”，該模型所使用的是各類公開可用的數(shù)據(jù)集（例如 Common Crawl、維基百科以及 C4）。項目組成員 Guillaume Lample 在推文中指出，“與 Chinchilla、PaLM 或者 GPT-3 不同，我們只使用公開可用的數(shù)據(jù)集，這就讓我們的工作與開源兼容且可以重現(xiàn)。而大多數(shù)現(xiàn)有模型，仍依賴于非公開可用或未明確記錄的數(shù)據(jù)內(nèi)容?！?/p>

　　早在上周發(fā)布時，Meta 就曾表示，LLaMA 可以在非商業(yè)許可下提供給政府、社區(qū)和學術界的研究人員和實體工作者，正在接受研究人員的申請。此外，LLaMA 將提供底層代碼供用戶使用，因此用戶可以自行調(diào)整模型，并將其用于與研究相關的用例。也就是說，各方貢獻者也能參與進來，讓這套模型變得越來越好。LLaMA 的官方博文也提到，“后續(xù)還需要更多研究，以解決大語言模型中的偏見、有害評論和捏造事實等風險。”

　　此次非正式開源，或?qū)酥局@些科技巨頭們最優(yōu)秀的大語言模型，正以前所未有的速度進入全球千行百業(yè)中，未來將以更豐富的產(chǎn)品形式讓用戶享受到先進的 AI 技術。

　　超越 ChatGPT，LLaMA 強在哪里？

　　根據(jù) Meta 官方發(fā)布的消息，LLaMA 是一種先進的基礎語言模型，旨在協(xié)助研究人員在 AI 相關領域迅速開展工作。

　　據(jù)悉，LLaMA 跟 OpenAI 的 GPT-3 模型差不多，LLaMA 模型是根據(jù)世界上二十種最流行的拉丁語和西里爾字母語言文本訓練而成的。論文《LLaMA：開放且高效的基礎語言模型》（LLaMA：Open and Efficient Foundation Language Models）就將該模型與 GPT、Gopher、Chinchilla 及 PaLM 等同類成果做出了比較。后面這幾種模型都用到了廣泛的公共數(shù)據(jù)，但也引入了某些非公開可用或未記錄在案的文本數(shù)據(jù)。LlaMA 則僅使用公開可用的數(shù)據(jù)集進行訓練，所以雖然自身尚未開源，但該模型與開源原則完全兼容。

　　從某種意義上講，LLaMA 是對 2022 年 3 月發(fā)表的 Chinchilla 模型及其論文《訓練計算優(yōu)化型大模型》（Training Compute-Optimal Large Models）的直接反應。通過加州大學伯克利分校、哥倫比亞大學、芝加哥大學和伊利諾伊大學在 2021 年 1 月合作進行的大規(guī)模多任務語言理解（MMLU）基準測試，這篇論文探討了模型大小、算力預算、令牌數(shù)量、訓練時間、推理延遲和性能等問題。

　　論文中的核心觀點是，AI 訓練與推理的最佳性能未必由大模型的參數(shù)量直接決定。相反，增加訓練數(shù)據(jù)并縮小模型體量才是達成最佳性能的前提。這樣的訓練可能需要更多時間，但也會帶來有趣的意外收獲 —— 在推理新數(shù)據(jù)時，小模型的速度更快。為了證明這一點，Chinchilla 的創(chuàng)建者一年前曾建議在 2000 億個令牌（一個令牌代表一個單詞片段）上訓練一套具有 100 億參數(shù)的模型。與之對應，LLaMA 的創(chuàng)建者稱自己的模型只有 70 億個參數(shù)，且仍在“繼續(xù)優(yōu)化中”，但令牌量已經(jīng)高達 1 萬億。

　　LLaMA 模型還分別使用 67 億、130 億、320 億和 652 億幾種參數(shù)組合進行訓練，其中體量較小的兩種使用 1 萬億個令牌，后兩種較大的使用 1.4 萬億個令牌。Meta Platforms 采取了 2048 個英偉達 Ampere A100 GPU 加速器配合 80 GB HBM2e 內(nèi)存，使用 1.4 萬億個令牌對規(guī)模最大的 LLaMA-65.2B 模型進行了測試，且訓練周期為 21 天（每 GPU 每秒 380 個令牌）。

　　這樣的速度并不算快，但 Meta AI 的研究人員表示，LLaMA-13B 模型“在大多數(shù)基準測試中都優(yōu)于 GPT-3，且體積僅相當于后者的 1/139?！倍抑攸c在于，“我們相信該模型有助于推動大語言模型的大眾化普及，因為它完全能夠在單 GPU 上運行。而且在規(guī)模化模型層面，我們的 65B 參數(shù)模型也完全能夠與 Chinchilla 或者 PaLM-540B 等頂尖大語言模型相媲美。”

　　與其他同類大模型的性能對比

　　論文中列出大量性能比較，這里我們挑出幾條來感受一下。下圖展示了各模型在“常識推理”任務中的零樣本性能表現(xiàn)：

　　零樣本意味著利用一種數(shù)據(jù)訓練而成的模型，對另外一種數(shù)據(jù)類型進行處理，且無需專門針對新類別做重新訓練。（這也是大語言模型的強大之處，其具備自動擴展能力。）從表中的粗體部分可以看到，650 億參數(shù)的 LLaMA 達成或超越了除 PaLM-540B 兩個實例以外的其他所有模型，而且跟冠軍的表現(xiàn)也相當接近。GPT-3 也在其中，其 1750 億參數(shù)的版本雖然表現(xiàn)不錯，但準確率也沒有特別明顯的優(yōu)勢。而且需要注意，GPT-3 的 1750 億參數(shù)相當于 LLaMA-65B 的 2.7 倍。

　　在另一輪有趣的比較中，Meta Platforms 展示了 LLaMA 在人文、科學、技術與數(shù)學、社會科學及其他各領域的多選測試結果。我們來看以下圖表：

　　這里測試的是所謂 5-shot 準確率，也就是對于任何特定問題，源材料都至少對其提及 5 次，（隨著每次提及，答案的確定性水平都會提高，這與人類推理的過程非常相似。這反映的是除了確切知曉之外，我們也往往能從多選題中推斷出正確答案。）

　　下圖也很重要，展示的是 LLaMA 在不同參數(shù)規(guī)模下，與 Chinchilla 模型之間的常識推理與問答基準測試差異：

　　如圖所示，LLaMA-33B 和 LLaMA-65B 已經(jīng)可以與 Chinchilla-70B 模型正面對抗，當令牌數(shù)量達到 1 萬億時甚至能夠反超。

　　值得一提的是，在 NaturalQuestions 和 SIQA 問答測試中，這些基礎模型都及不了格——準確率過低，甚至距離及格線還有一段距離。各模型在 TriviaQA 測試中的得分在 D+ 到 C- 之間，在 WinoGrande 測試中得到 C- 至 C，在 HellaSwag 測試中得到 C 至 B，在 PIQA 測試中得到 C+ 至 B-。單從成績來看，現(xiàn)有大語言模型還算不上班里的“尖子生”。

　　Meta 的目標是在未來發(fā)布更大的模型，這些模型在更廣泛的預訓練數(shù)據(jù)集上進行訓練，同時它觀察到隨著規(guī)模的擴大，性能也在穩(wěn)步提高。

　　在這場爭奪 AI 霸主地位的競賽中，OpenAI 率先發(fā)布了 ChatGPT，谷歌很快以其 "實驗性 "聊天機器人 Bard 緊隨其后，而中國科技巨頭百度正計劃以 Ernie Bot- ERNIE 3.0 進入戰(zhàn)場。更不用說微軟聲稱正建立在 "新的下一代 OpenAI 大型語言模型 "基礎上的 Bing Chat（又名Sydney），它比 ChatGPT 更先進，而且還與 Bing 搜索整合。

LLaMA地址

https://github.com/faceb**kresearch/llama/pull/73/files

參考資料

https://news.cnblogs.com/n/737746/