如何真正搞懂 GPT？以 GPT 為代表的大模型就像一場狂風，掀翻了牌桌，從一個人類為主的時代飛躍為一個人類與 AI 共舞的時代。 有的人恐慌，擔心自己被裁員、被 AI 搶走工作怎么辦？有的人興奮，因為自己正是國內(nèi)那三十多個正在瘋狂閉門開發(fā)，研發(fā)大語言模型的團隊中的成員，終于可以漲工資了。 無論如何，記住我的話：技術(shù)并不一定帶來公平，但一定會給最懂技術(shù)的人紅利。在 AI 時代，借助 AI 來學習與研發(fā) AI，并沒大家想的那么難。 那么，如何真正搞懂 GPT，從技術(shù)底層參與 AI 新時代呢？以下四本書給你答案。 書 1：What Is ChatGPT Doing … and Why Does It Work
市面上關(guān)于 GPT 的文章，其實多數(shù)是外行寫的。這些作者，要么從來沒有跑過語言模型；要么并不了解神經(jīng)網(wǎng)絡(luò)發(fā)展歷史。而出生于 1959 年的斯蒂芬·沃爾夫勒姆（Stephen Wolfram）是一個例外。 他在 1988 年創(chuàng)建了 Wolfram Research 公司，開發(fā)了著名的計算工具 Mathematica。2002 年，他發(fā)表了一本名為A New Kind of Science的著作，提出了一種基于元胞自動機方法。 這樣一位行家里手來介紹 GPT，自然格外精確。這本書的前身來自他的科普長文，在網(wǎng)上可以免費訪問：wolfr.am/sw-chatgpt 自從 GPT-4 開放插件合作之后，Wolfram 同樣是上線的第一批。從此，GPT-4 擁有了強悍的數(shù)學符號計算能力。 書 2：《自然語言處理：基于預(yù)訓練模型的方法》
這本書是一本非常不錯，從預(yù)訓練模型開發(fā)者角度撰寫的圖書。全書分為三部分：基礎(chǔ)知識、預(yù)訓練詞向量與預(yù)訓練模型?；旧希x完全書，如何訓練一個語言模型的基礎(chǔ)代碼，了然于心。作者為哈工大的 NLP 團隊，也是國內(nèi) AI 重鎮(zhèn)之一。 而另一本《預(yù)訓練語言模型》亦可參考。這本書算是一本綜述，不涉及實際開發(fā)，介紹了各個預(yù)訓練模型。較有特色的是第七章，介紹了如何對各個預(yù)訓練模型進行評測。
書 3：《動手學深度學習（Pytorch 版）》
GPT 屬于深度學習領(lǐng)域，而這本書是最好的一本合適開發(fā)者入門深度學習的著作。Github 上的配套倉庫亦可參考。 這本書最大優(yōu)點是循序漸進，以及包括可運行的代碼，幫助各位讀者掌握深度神經(jīng)網(wǎng)絡(luò)的各個經(jīng)典知識。 除了這本之外，能夠幫助各位讀者由淺入深掌握深度學習的，還可以參考以下三本著作。
這三本書都是寫得通俗易懂，非常合適新的開發(fā)者上手。 當然，深度學習是一個很龐大的領(lǐng)域，除了 GPT 模型之外，還有競爭的 Bert 模型。比如《動手學深度學習（Pytorch 版）》一書重點介紹的就是 Bert 模型。更好地了解 Bert 模型的，還可以參考這本書：
書 4：《機器閱讀理解：算法與實踐》
在所有自然語言處理任務(wù)中，與 GPT 關(guān)系最緊密的就是機器閱讀理解領(lǐng)域了。 這本書對大家了解機器閱讀理解的來龍去脈、歷史演化、最新模型與評測方法，頗有參考價值。其他類似的書亦可參考：《基于深度學習的機器閱讀理解》。 閱讀建議快速了解 GPT 的工作原理，讀What Is ChatGPT Doing … and Why Does It Work?一書。想直接動手訓練一個語言模型，讀《自然語言處理：基于預(yù)訓練模型的方法》一書。 在訓練模型過程中，發(fā)現(xiàn)自己需要補上大量深度學習的基礎(chǔ)知識，繼續(xù)回去讀《動手學深度學習（Pytorch 版）》一書。同步可參考《機器閱讀理解：算法與實踐》。 當然，除了這些書籍之外，還有大量關(guān)于 GPT 的資料，亦可參考我們創(chuàng)建的 Github 倉庫： https://github.com/OpenMindClub/awesome-chatgpt 而在訓練模型的時候，先直接跑別人訓練好的模型，是入門的最快手段。國外著名的模型社區(qū)為：https://。國內(nèi)阿里自從去年六月開始，也做了一個模型社區(qū)網(wǎng)站，參見：https://www. 如今看新聞，是這也爆發(fā)，那又顛覆。也許比天天看新聞更重要的是，立即開始實際學習，跑幾個語言模型看看。那樣，你面對新技術(shù)與時代大變革的恐慌、焦慮，也許就煙消云散了。 希望以上建議對各位有所幫助。 陽志平 |
|
|
