 在發(fā)布 V1 版本后的 3 個月時間內(nèi)，為了提升該綜述的質(zhì)量，我們在持續(xù)更新相關(guān)的內(nèi)容，連續(xù)進(jìn)行了多版的內(nèi)容修訂（版本號目前迭代到 V11），論文篇幅從 V1 版本的 51 頁、416 篇參考文獻(xiàn)擴(kuò)增到了 V11 版本的 85 頁、610 篇參考文獻(xiàn)。V11 版本是我們自五月中下旬開始策劃進(jìn)行大修的版本，詳細(xì)更新日志請見文章結(jié)尾，已于 6 月末再次發(fā)布于 arXiv 網(wǎng)站。相較于 V1 版本，V11 版本的大語言模型綜述有以下新亮點(diǎn)：
此外，我們綜述的中文翻譯版本也在持續(xù)更新（針對 v1 版本進(jìn)行了翻譯，并持續(xù)更新）
GitHub項(xiàng)目鏈接： 中文翻譯版本鏈接：
引言大語言模型目前已經(jīng)成為學(xué)界研究的熱點(diǎn)。我們統(tǒng)計了 arXiv 論文庫中自 2018 年 6 月以來包含關(guān)鍵詞“語言模型”以及自 2019 年 10 月以來包含關(guān)鍵詞“大語言模型”的論文數(shù)量趨勢圖。結(jié)果表明，在 ChatGPT 發(fā)布之后，相關(guān)論文的數(shù)量呈現(xiàn)出爆發(fā)式增長，這充分證明大語言模型在學(xué)術(shù)界的影響力日益凸顯，吸引了越來越多的研究者投入到這一領(lǐng)域。
 總覽相較于小模型，大模型擴(kuò)展了模型大小、訓(xùn)練數(shù)據(jù)大小和總計算量，顯著提升了語言模型的能力。在總覽章節(jié)中，我們新增了擴(kuò)展法則（scaling law）的討論，其中重點(diǎn)介紹了 KM 擴(kuò)展法則和 Chinchilla 擴(kuò)展法則，這兩個法則對于理解大語言模型的性能提升提供了重要參考。
此外，我們新增了一部分關(guān)于 OpenAI GPT 系列語言模型的技術(shù)演進(jìn)階段的介紹（并附圖）。這一部分將幫助讀者了解 GPT 系列模型如何從最初的 GPT 開始，逐步演變成例如 ChatGPT 和 GPT-4 等更先進(jìn)的大語言模型。
針對 GPT 系列的核心“預(yù)測下一個詞”，還進(jìn)一步加入了一些 Ilya Sutskever 的采訪記錄：
大語言模型相關(guān)資源我們對于最新符合條件的模型進(jìn)行了補(bǔ)充，持續(xù)更新了現(xiàn)有的 10B+ 的模型圖：
2023 年 2 月，Meta 發(fā)布了 LLaMA 大語言模型。受益于其強(qiáng)大的基座能力，LLaMA 的發(fā)布引起了開源社區(qū)的對其進(jìn)行擴(kuò)展的熱潮，大量的研究人員基于 LLaMA 進(jìn)行指令微調(diào)或者繼續(xù)預(yù)訓(xùn)練，從而催生了大量高質(zhì)量的開源大語言模型。為了幫助讀者了解 LLaMA 家族模型的發(fā)展脈絡(luò)，我們增加了 LLaMA 家族模型的發(fā)展介紹，并繪制了一個簡要的 LLaMA 家族演化圖來展示 LLaMA 家族模型的發(fā)展歷程，以及各個衍生模型之間的關(guān)聯(lián)。
 大語言模型預(yù)訓(xùn)練技術(shù)在預(yù)訓(xùn)練技術(shù)章節(jié)，我們大幅補(bǔ)充了大模型預(yù)訓(xùn)練各方面的技術(shù)細(xì)節(jié)。在模型架構(gòu)部分，我們補(bǔ)充了三種主流模型架構(gòu)的對比圖，包括因果編碼器、前綴解碼器和編碼器-解碼器架構(gòu)，從而直觀的展示這三種架構(gòu)的差異和聯(lián)系。
此外，我們詳細(xì)補(bǔ)充了模型架構(gòu)的各組件細(xì)節(jié)，包括分詞、歸一化方法、歸一化位置、位置編碼、注意力與偏置等等，并提供了 Transformer 架構(gòu)多種配置的詳細(xì)公式表。在最后的討論章節(jié)，我們針對研究者廣泛關(guān)注的長文本編碼與生成挑戰(zhàn)進(jìn)行了討論。
針對預(yù)訓(xùn)練數(shù)據(jù)的詞元化問題（tokenization），我們補(bǔ)充介紹了 BPE、WordPiece 和 Unigram 三種常用算法：
大語言模型適配技術(shù)在適配技術(shù)章節(jié)，我們擴(kuò)充了指令微調(diào)的技術(shù)細(xì)節(jié)，包括指令收集方法、指令微調(diào)的作用、指令微調(diào)的結(jié)果和對應(yīng)分析。首先，我們按照任務(wù)指令、聊天指令、合成指令三類分別介紹了指令數(shù)據(jù)的收集方法，并收集了的指令集合。
并且更新了指令集合的創(chuàng)建方式示意圖：
其次，為了探究不同指令數(shù)據(jù)對模型性能的影響，我們給出了不同數(shù)據(jù)混合策略下指令微調(diào)模型的實(shí)驗(yàn)結(jié)果供讀者參考。為了讓讀者更好地上手指令微調(diào)，還給出了指令微調(diào)大模型的資源參考表，并給出了指令微調(diào)的實(shí)用建議。 隨著大語言模型的關(guān)注度日漸上升，如何更輕量地微調(diào)和使用大語言模型也成為了業(yè)界關(guān)注的熱點(diǎn)，為此，我們新增參數(shù)高效適配章節(jié)和空間高效適配章節(jié)。在參數(shù)高效適配章節(jié)，我們介紹了常見的參數(shù)高效適配技術(shù)，包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、LoRA 等等，并列舉了近期結(jié)合這些技術(shù)在大模型上的具體實(shí)踐。 同時由于大語言模型參數(shù)量巨大，在推理時需要占用大量的內(nèi)存（顯存），導(dǎo)致它們在實(shí)際應(yīng)用中部署成本較高。為此，我們介紹了空間高效適配技術(shù)，討論了如何通過模型壓縮方法（模型量化）來減少大語言模型的內(nèi)存占用，從而使其可以在資源有限的情況下使用。下面總結(jié)了我們討論的一些核心結(jié)論：
大語言模型使用技術(shù)我們將大語言模型在推理階段如何執(zhí)行上下文學(xué)習(xí)的機(jī)制分析劃分為兩類，即任務(wù)識別和任務(wù)學(xué)習(xí)。在任務(wù)識別部分，介紹了大語言模型如何從示例中識別任務(wù)并使用預(yù)訓(xùn)練階段習(xí)得的知識加以解決；在任務(wù)學(xué)習(xí)部分，介紹了大語言模型如何從示例中學(xué)習(xí)解決新任務(wù)。 除了上下文學(xué)習(xí)和思維鏈提示，我們還介紹了另一類使用大語言模型的重要范式，即基于提示對復(fù)雜任務(wù)進(jìn)行規(guī)劃。根據(jù)相關(guān)工作，我們總結(jié)出了基于規(guī)劃的提示的總體框架。這類范式通常包含三個組件：任務(wù)規(guī)劃者、規(guī)劃執(zhí)行者和環(huán)境。隨后，我們從規(guī)劃生成，反饋獲取和規(guī)劃完善三個方面介紹了這一范式的基本做法。
大語言模型能力評估考慮到大語言模型的條件語言生成能力日益增長，我們介紹了已有工作對大語言模型時代語言生成自動評測可靠性問題的討論。對于大語言模型的高級能力，我們增補(bǔ)了最新的相關(guān)工作，并總結(jié)了大語言模型高級能力評測的常用數(shù)據(jù)集供讀者參考。此外，隨著大語言模型通用能力的提升，一系列工作提出了更具挑戰(zhàn)性的基于面向人類測試的綜合評測基準(zhǔn)來評測大語言模型，我們增加了這些代表性評測基準(zhǔn)的介紹。
在大語言模型時代，開源和閉源的大語言模型不斷涌現(xiàn)，我們對部分熱門開源模型和閉源模型進(jìn)行了細(xì)粒度的能力評測，涵蓋了評測章節(jié)總結(jié)的 8 大基礎(chǔ)和高級能力對應(yīng)的 27 個代表性任務(wù)。進(jìn)一步，我們對開源模型和閉源模型的評測結(jié)果進(jìn)行了細(xì)致的分析。 為了更好地說明大模型的現(xiàn)有問題，我們對于關(guān)鍵問題都進(jìn)行了 note 形式的總結(jié)：
大語言模型提示設(shè)計使用指南在大語言模型時代，提示成為了人與機(jī)器交互的重要形式。然而，如何編寫好的提示是一門對技巧和經(jīng)驗(yàn)要求很高的手藝。為了讓讀者能夠快速上手大語言模型的提示設(shè)計，我們給出了一個實(shí)用的提示設(shè)計指南。我們詳細(xì)介紹了提示的關(guān)鍵組件，并討論了一些關(guān)鍵的提示設(shè)計原則。 一個完整的提示通常包含四個關(guān)鍵組成因素，即任務(wù)描述、輸入數(shù)據(jù)、上下文信息和提示風(fēng)格。為了更好的展示這些組成因素，我們給出了直觀的提示樣例表。
增加了相關(guān)提示的示意圖：
除此之外，我們還總結(jié)了一些關(guān)鍵的提示設(shè)計原則，包括清晰表述任務(wù)目標(biāo)、將復(fù)雜任務(wù)進(jìn)行分解以及使用模型友好的格式。進(jìn)一步我們基于這些設(shè)計原則，展示了一系列有用的提示設(shè)計小貼士。 最后，我們結(jié)合多種常見任務(wù)，基于 ChatGPT 具體實(shí)驗(yàn)了不同提示對模型性能的影響，供讀者在使用提示執(zhí)行具體任務(wù)時參考。
大語言模型領(lǐng)域應(yīng)用隨著大語言模型關(guān)注度的逐漸提升，研究者和工業(yè)界從業(yè)人員也嘗試將大語言模型應(yīng)用到各種專業(yè)領(lǐng)域中。為了系統(tǒng)地介紹這些應(yīng)用實(shí)踐，我們將綜述中大語言模型的領(lǐng)域應(yīng)用部分獨(dú)立成了專門的章節(jié)。具體而言，我們擴(kuò)充介紹了原有將大語言模型應(yīng)用到醫(yī)療、教育、法律領(lǐng)域的相關(guān)研究，并新增了金融和科學(xué)研究領(lǐng)域的相關(guān)工作介紹。
尋求建議與算力一篇高質(zhì)量的長篇綜述文章需要大量的時間投入，所參與的老師和學(xué)生為此付出了很多的時間。盡管我們已經(jīng)盡力去完善這篇綜述文章，但由于能力所限，難免存在不足和錯誤之處，仍有很大的改進(jìn)空間。 我們的最終目標(biāo)是使這篇綜述文章成為一個“know-how”的大模型技術(shù)指南手冊，讓大模型的秘密不再神秘、讓技術(shù)細(xì)節(jié)不再被隱藏。盡管我們深知目前這篇綜述離這個目標(biāo)的距離還比較遠(yuǎn)，我們愿意在之后的版本中竭盡全力去改進(jìn)。特別地，對于預(yù)訓(xùn)練、指令微調(diào)、提示工程的內(nèi)在原理以及實(shí)戰(zhàn)經(jīng)驗(yàn)等方面，我們非常歡迎讀者為我們貢獻(xiàn)想法與建議，可以通過 GitHub 提交 PR 或者郵件聯(lián)系我們的作者。對于所有被采納的技術(shù)細(xì)節(jié)，我們都將在論文的致謝部分中“實(shí)名+實(shí)際貢獻(xiàn)”進(jìn)行致謝。 同時，我們自己也在圍繞大模型綜述的部分內(nèi)容開展相關(guān)的實(shí)驗(yàn)探索（如能力評測、指令微調(diào)等），以保證綜述中的討論能夠有據(jù)可循。由于算力所限，目前能開展的實(shí)驗(yàn)局限于小尺寸模型和少量比較方法。在此，我們也向社會尋求算力支持，我們將承諾所獲得的算力資源將完全用于該綜述文章的編寫，所有使用外部算力所獲得的技術(shù)經(jīng)驗(yàn)，將完全在綜述文章中對外發(fā)布。我們將在綜述的致謝部分和 GitHub 項(xiàng)目主頁對于算力提供商進(jìn)行致謝。針對本綜述文章的算力資源支持事宜，煩請致信 batmanfly@qq.com 聯(lián)系我們。 我們的綜述文章自發(fā)布以來，收到了廣泛網(wǎng)友的大量修改意見，在此一并表示感謝。也希望大家一如既往支持與關(guān)注我們的大模型綜述文章，您們的點(diǎn)贊與反饋將是我們前行最大的動力。 本次修訂的參與學(xué)生名單附件：更新日志
更多閱讀
#投 稿 通 道# 讓你的文字被更多人看到 如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。 總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。 PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個，讓知識真正流動起來。 ?? 稿件基本要求： · 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注 · 稿件建議以 markdown 格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題 · PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算 ?? 投稿通道： |
|
|
