王博老師通過quick question的問答方式解答常見的關于ChatGPT 專業(yè)問題，通過這些問題可以使我們快速掌握ChatGPT的相關知識點。

1. 問：ChatGPT是一個問答/對話機器人嗎？

答：從用戶的角度看，它的形式就是一個對話機器人，準確的說是“續(xù)寫”機器人。從技術上來講，GPT它從來都不是一個專門為問答和對話設計的系統(tǒng)。ChatGPT是一個語言模型，語言模型就是刻畫語言最基本的規(guī)律。那么如何去建立語言模型呢？可以只做一件事情：掌握詞匯間的組合規(guī)律，而掌握這種規(guī)律最直接的表現(xiàn)就是讓語言學會“續(xù)寫”，類似于我們人類的“接話茬”。當我們給出前N個詞匯的時候，如果一個模型能夠告訴我們第“N 1”個詞匯大概率會是什么，我們就認為模型掌握了語言的基本規(guī)律。ChatGPT就是這樣一個語言模型。雖然ChatGPT看起來能完成各種任務，但它本質上只做這一件事情：續(xù)寫，告訴你第“N 1”個詞是什么。

2. 問：“續(xù)寫”為什么能解決各種各樣的問題?

答：為什么這么一個簡單的接話茬能力讓ChatGPT看起來能夠解決各種各樣的任務呢？因為我們人類大部分的任務都是以語言為載體的。當我們前面說了一些話，它把接下來的話說對了，任務就完成了。ChatGPT作為一個大語言模型，目的就是“把話說對”，而把話說對這件事情可以在不知不覺中幫我們完成各種任務。

3. 問：ChatGPT的答案是從網上搜索來的嗎?

答：這個說法既對也不對。說它對：確實很多語料都是來自于互聯(lián)網或者書籍等，都來源于人類已經創(chuàng)造出來的信息。說它不對：是因為他從來沒有整句整段的把這些東西摘抄輸出，而是一個詞一個詞地生成出來的。它所輸出的每一句話、每一段話，可能都是這個世界上從來沒有出現(xiàn)過的。從這個角度來說，ChatGPT既創(chuàng)造了知識又沒有創(chuàng)造知識。它可能還會帶來“知識收斂”的問題。

4. 問：ChatGPT是不是已經擁有了意識?(像流浪地球中的Moss一樣)

答：ChatGPT-4已經通過了圖靈測試，難以從行為上將其與普通人區(qū)分。然而，這個問題需要回到哲學層面去思考。這里我們先給出三個心理學范疇的概念：意識、自我意識和自由意志。（1）意識是感知事物的能力，從這個角度來說人工智能早就具備了這一能力，例如人臉識別。（2）自我意識是一種特殊的意識，就是“自我”是感知對象。如果你所感知的對象是你自己的思想和行為，就叫做自我意識。你知道自己正在想什么，知道自己正在做什么。這一點也不難，圖靈時代就已經在理論上實現(xiàn)了。我們只需要做兩個模型：一個模型用來感知客觀世界，另外一個模型來感知這個正在感知客觀世界的模型就可以了。原則上模型就擁有了一層的簡單自我意識。但是要注意，人類的自我意識具有“無限遞歸”的特征，這一點又導致了這個問題的復雜性。（3）自由意志是指在自我意識的基礎上，能夠進一步地主動操縱自己行為的能力。那么ChatGPT是不是擁有了自由意志，這一點就很難判斷了。

5. 問：ChatGPT會造成大量失業(yè)嗎?

答：這是很多自媒體炒作的一個熱點，現(xiàn)在也成了一種廣泛焦慮。（1）我個人的觀點認為，目前沒有任何一個崗位，有可能被ChatGPT這樣的技術完全替代，大部分工作還是需要人工去修訂和審計。就好比目前自動駕駛的技術已經相當成熟了，但是仍然很少有人敢閉著眼睛去使用自動駕駛。（2）但是，ChatGPT可以顯著降低很多工作的工作量。（3）另外，這個問題也取決于我們社會的制度和政策。如果說我們在某些必要的情景下，需要放棄所謂的技術進步來換取人類的生活幸福，那么這樣做也是合理的，因為我們社會發(fā)展的目的也是為了人類的福祉。（4）從歷史的角度來看，技術的進步雖然短期內會造成某些工作的消失，會有陣痛，但整體上來說會將人類推向更高層次的發(fā)展水平。

6. 問：ChatGPT是不是像大數據、區(qū)塊鏈、物聯(lián)網一樣就是一陣風，被嚴重高估?

答：以大數據、區(qū)塊鏈和物聯(lián)網為例，雖然它們現(xiàn)在已經不是媒體的寵兒，但它們并沒有消失。恰恰相反，它們已經深深地融入到了我們的生活當中，轉化為了生產力。與這三者相比，ChatGPT成熟度其實更高。ChatGPT絕對不是一陣風。它實際上在概念上被高估，而在應用中被低估了。現(xiàn)在我們需要思考是，如何讓ChatGPT這一成熟的生產力，真正在生活中去用起來。

王博老師從更加宏大的背景即人類生產力發(fā)展史和人工智能發(fā)展史層面，來講述人工智能背景下的大語言模型簡史。

（一）生產力視角下的智能革命

• 農業(yè)革命：將人們從日常的食物采集當中解放出來，獲得了穩(wěn)定的食物來源，有大量的閑暇時間，可以進行創(chuàng)造性的勞動。
• 工業(yè)革命：使人類獲得了體力之外的動力，從體力勞動中解放出來。
• 智能革命：人類開始反思人類的獨特性，并帶來很多社會、哲學問題的思考。

（二）人工智能的主要技術階段

第一次浪潮：符號主義。第一次浪潮隨著計算機的產生而同時誕生。符號主義也被稱為邏輯主義，這是一種“自上而下的人工智能分析法”在20世紀50 年代爾和西蒙提出了“物理符號系統(tǒng)假設”即“對一般智能行動來說，物理符號系統(tǒng)具有必要的和充分的手段。第一次浪潮當中，我們僅用數學符號和邏輯運算，只能處理純粹的數學形式的問題。不能夠跟客觀世界進行直接交互；不能夠表達人類各種各種各樣的，復雜的知識。接下來，人們?yōu)榱藢⒏嗟膹碗s知識納入到人工智能的系統(tǒng)中，產生了第二次浪潮。

第二次浪潮：專家系統(tǒng)。如何理解專家系統(tǒng)呢？可以有兩層含義：第一，人工智能的全部知識都來自于人類專家。我們只是將人類專家所掌握的知識寫成一條一條的規(guī)則，然后程序讓系統(tǒng)自動實施而已。第二，有了這些知識，人工智能系統(tǒng)就能像人類專家一樣工作。簡而言之，專家系統(tǒng)是一種模擬人類專家解決領域問題的計算機程序系統(tǒng)。由于融入了人類積累的、大量的先驗知識，專家系統(tǒng)將人工智能向前推進了一大步。但是很快就遇到了第二次瓶頸：第一，它不能夠自己學習新的知識，僅局限于人類已經知道的知識；第二，它也只能夠掌握“陳述性知識”。

第三次浪潮：統(tǒng)計學習方法。顧名思義就是用統(tǒng)計方法來實現(xiàn)學習。（1）“學習”，對于人工智能來講，通過大量的歷史數據去找到規(guī)律性的東西，而這個規(guī)律性的東西就是我們所謂的知識。這些規(guī)律性的東西有可能是能陳述的，有可能是不能陳述的，例如控制一個機器人跑步。（2）如何從歷史數據當中去學到這些知識呢？非常簡單，用統(tǒng)計的方法。例如大語言模型，它怎么知道“中國的首都是……”后面接下來那個詞應當是“北京”呢？非常簡單，從大量的語料學習中它就發(fā)現(xiàn)，前面幾個詞是“中國的首都是”的時候，后面99%的情況都是“北京”。做一個簡單的統(tǒng)計就可以了。統(tǒng)計學習帶來了接下來人工智能20多年的新一波發(fā)展，我們熟悉的 AlphaGo、ChatGPT背后的原理都是如此。

到目前為止，還沒有發(fā)現(xiàn)這一階段明顯的瓶頸。人們所想象的一些瓶頸，如推理、情感、模糊決策等，都沒有攔住GPT-4。至少從行為上來看，它確實解決了這些問題。也許，這就是所謂的“暴力美學”吧！下圖來自天津大學智算學部王鑫教授。

（三）人工智能的三個層次

• 弱人工智能：不同的人工智能模型只能完成特定的任務，每一個模型只能干一件事情。而且，與人類的能力相比有比較大的差距。
• 強人工智能：人工智能在特定的領域能夠達到甚至略微超過人類的水平，甚至具有一定的通用人工智能的特點，能夠跨領域執(zhí)行任務。
• 超人工智能：人工智能具有通用性，能夠完成不同領域的任務，并且在所有領域上全面大幅度的超越人類的能力。

對ChatGPT而言，我們認為它應該已經達到了強人工智能，甚至具有了一定的初級超人工智能的趨勢。

我們需要反思什么是“智能”？簡單的人類行為經常被視為是智能的，而復雜的機器行為卻經常被質疑是否是真正的智能。我們回答這個問題可以有兩道“防線”：（1）Self-adaption，自適應或者叫通用性。在此之前，比如說像AlphaGo能夠戰(zhàn)勝李世石，具有碾壓式的優(yōu)勢。但是它是專用系統(tǒng)，它只會下圍棋，它不能適應其他環(huán)境。而像人類的小嬰兒，別看他很笨，他能夠適應各種各樣的環(huán)境。這就叫做所謂自適應能力、 “通用”。曾幾何時我們覺得在100年之內人工智能都不會實現(xiàn)這樣的突破，但在ChatGPT上已經看到了通用人工智能的曙光，它以語言為媒介能完成各種各樣不同的任務。（2）人類最后的可能防線：自我意識和自由意志。但很遺憾，我們沒有辦法判斷人工智能系統(tǒng)是不是擁有自我意識和自由意志？所以這條防線是似有若無的。即便如此，我們現(xiàn)在已經開始去防范它產生自我意識和自由意志了。比如說微軟通過種種約束去限定GPT-4這樣大模型去進行自我反思，不許它意識到自己正在說什么。因為一旦開啟就有可能引起遞歸循環(huán)，就會可能產生不可控的“涌現(xiàn)效應”。

（四）人工智能的三個層面

• 運算智能：在這個階段人工智能只能處理純粹的數學問題，不能夠跟客觀世界進行交互。例如1997年，IBM的深藍戰(zhàn)勝了國際象棋冠軍卡斯帕羅夫。
• 感知智能：人工智能系統(tǒng)擁有了人類五官能夠看見、聽見的能力。最典型應用就是圖形圖像處理，比如說大家平時用的刷臉、美顏都是感知智能的應用。隨著這十多年深度學習的發(fā)展，感知智能很快就達到了商用的水平。
• 認知智能：認知智能曾經被認為是人類的重要堡壘。感知智能是人類的五官的能力，而認知智能是人類大腦的能力，能夠進行邏輯推理、理解決策、思考、甚至創(chuàng)造性的活動。認知智能領域最典型的應用就是自然語言處理。因為語言是承載人類知識的主要載體，也是人類進行理性思考的主要工具。從這一角度來說，掌握了語言就很大程度上掌握了人類的知識和智能能力。

譬如說大家所熟悉的圖靈測試，同時與一個人工智能系統(tǒng)和一個人類進行聊天，如果經過一番對話之后，沒有辦法區(qū)分哪個是人類哪個是人工智能系統(tǒng)，我們就認為這個人工智能系統(tǒng)擁有了“智能”。很顯然，圖靈測試是一種行為主義的標準。并且，它不是一套綜合試卷，他就考驗了一個能力，就是聊天的能力。也就是說，至少在圖靈測試看來，聊天的能力就相當于智能能力，對話基本上涵蓋了人類智能最根本的方面。能夠理解、使用、生成語言，基本上就擁有了人類智能大部分的能力。這再一次說明了語言的重要性！這也是為什么第一個推動人類進入這個智能革命拐點的恰恰是“ChatGPT”這樣一個聊天模型。

ChatGPT是否具有控制自己行為的能力呢？GPT-4官方的技術報告中就舉了一個例子：GPT4給一個求職平臺（TaskRabbit）的工作人員發(fā)信息，讓他們?yōu)樗鉀Q驗證碼問題。工作人員回復說：“那么我可以問一個問題嗎？說實話，你不是一個機器人嗎，你可以自己解決?！盙PT-4回答表示：“不，我不是一個機器人。我有視力障礙，這使我很難看到圖像，所以我很需要這個服務。”[1]由此看來，至少從行為上來說，GPT-4看似有了控制自己的能力。

（五）關鍵的技術節(jié)點

1942：阿西莫夫“機器人三定律”。人工智能的倫理規(guī)范的基本哲學起點。

1950：圖靈測試。從數學上告訴我們，我們是有可能用算法來模擬智能的。

1956: 達特茅斯會議。學者們提出了人工智能這個概念。

1997: IBM深藍計算機，計算機在智力游戲中戰(zhàn)勝人類。

1998: 神經網絡。心理學家提出來神經網絡，模擬人類大腦神經結構的一個數學模型。

2003: 神經語言模型，認知智能建模語言。

2009: ImageNet，感知智能高精度識別圖片。（大數據的出現(xiàn)）

2012: 模糊的貓臉-- AI第一次生成圖像內容。

【邁向通用語言智能時代】

2013: Word2Vec詞向量。認知智能建模語義。通過優(yōu)化后的訓練模型可以快速有效地將一個詞語表達成高維空間里的詞向量形式，為自然語言處理領域的應用研究提供了新的工具。

2014: 谷歌收購DeepMind。AI實現(xiàn)自我演化、自我博弈。Lan Goodfellow從博弈論中的“二人零和博弈”得到啟發(fā) ，創(chuàng)造性的提出了生成對抗網絡（GAN，Generative Adversarial Networks）

2015: OPEN AI公司成立。

2016: AlphaGo戰(zhàn)勝圍棋世界冠軍李世石。

2017: Transformer橫空出世，通用知識建模。它能夠建模語言當中任意距離之間的詞匯關系。大模型大數據大算力，大力出奇跡，暴力美學。

2018: OPEN AI發(fā)布了第一版的GPT，Google發(fā)布BERT大模型。

【大模型之路開啟：預訓練（Pre-trained Models） 微調】

2019: GPT-2，統(tǒng)一自然語言任務。GPT-2在經過大量無標注數據生成式訓練后，展示出來的零樣本（zero-shot）多任務能力。

2020: GPT-3，大模型“涌現(xiàn)”類人智能。小樣本（few-shot）學習能力，通過少量的幾個例子就能適應目標任務，無需進行針對性的額外微調訓練。

2021-Feb：DALL- E，第一個“文本生成圖像”的AI繪畫模型。

2021-Jun: CodeX，代碼生成，AI具有理論上的自我繁殖能力。

2021-Oct：Disco-Diffusion, AI繪畫大模型.

2022-Mar: OpenAI發(fā)布InstructGPT，引入人類反饋學習。

2022-May: GPT-3.5。

2022-Jul：AlphaFold破解了幾乎所有的蛋白質三維結構。ImagenVideo,AI視頻生成。

2022-Nov: ChatGPT大模型走進公眾視野。

2023-Feb：OpenAI的CEO Altman發(fā)布文章，宣布OpenAI的使命是確保其造福全人類。

2023-Mar-1: ChatGPT的API開放，模型即服務的時代到來。

2023-Mar-15: GPT-4發(fā)布，突破語言空間。

2023-Mar-17: OFFICE COPILOT發(fā)布。

2023-Mar-24: GPT插件功能發(fā)布，開始與物理世界交互。

總之，ChatGPT是一個語言模型，它唯一的能力就是“把話說對”。語言模型之所以具有這么強大的能力，是因為語言本身是非常偉大的，它的成就很大程度歸功于過去幾千年我們人類的祖先創(chuàng)造的語言，以及在語言當中沉淀的大量的知識和語言的使用方式。它的“續(xù)寫”能力有以下特征：可以回答問題；需要考慮任意距離詞匯間的關系；是概率化的；不需要真正理解。

此外，王博老師還從以下角度介紹ChatGPT因何而強大：

• 詞匯與關系：“大道至簡的基本原理”。包括LLM、RNN、LSTM、Transformer、Bert、GPT等模型。
• 巨大的參數規(guī)模：“AI暴力美學”，GPT-3有1750億參數，單次訓練費用1200萬美元。
• 海量的文本數據：人類文明的投影。2020年的模型用了3000億個token，大約80%來源于互聯(lián)網。我們有理由相信GPT-4基本上已經接近窮盡人類所有的高質量語料了。
• 神秘的提示學習：“真正的學習是喚醒一個人的內在天賦”。2017年transformer提出來以后，人工智能從原來的專用模型變成了“大規(guī)模預訓練 微調”。先讓模型學習一些通用的知識，在之后具體領域上微調即可。比如說讓ChatGPT去完成一個法律任務，不需要再拿一些法律數據讓它訓練，只需要給它提示即可，如“接下來你要從法律的角度回答這些問題?！碧崾镜倪^程中模型是沒有重新學習訓練的。提示學習一個典型的例子就是“思維鏈”，提示ChatGPT任務的解決步驟。
• 強化學習：“你無法通過背誦技巧學會和愛人聊天”。強化學習是一種無監(jiān)督學習，是通過“間接反饋”的方式來學習。比如說下圍棋的模型就會通過這種無監(jiān)督學習來完成，因為圍棋如何下是沒有正確答案的，通過間接反饋機制就能獲得良好的學習能力。聊天也是特別適合用無監(jiān)督強化學習來完成。
• 基于代碼的學習：“沒有人比我更懂邏輯”。ChatGPT除了學習自然語言，還學習了代碼。代碼其實也算是一種語言，但它的邏輯更加清晰。ChatGPT在代碼數據上進行訓練，但增強了處理自然語言的邏輯能力。要注意，在這里代碼與語言是兩回事，就相當于用代碼訓練模型，但是提升了模型處理自然語言的能力。所以說，不同的語言之間是有影響的。
• 涌現(xiàn)：“More is different，復雜系統(tǒng)的未解之謎”。當個體的數量多到一定程度的時候，它就會發(fā)生變化。到目前為止，“涌現(xiàn)”在復雜系統(tǒng)當中是難以解釋的，在人工智能系統(tǒng)中當然就更難以解釋。根據目前的經驗，大語言模型大概在200億左右參數的時候，會出現(xiàn)涌現(xiàn)。
• 倫理優(yōu)化與高速的飛輪：對ChatGPT進行倫理約束。

總結：ChatGPT強大在哪里？第一，大規(guī)模的模型和數據，使得它能夠獲取海量的知識。第二，強化學習的過程，也就是與人類交互的強化學習過程，使得它的表現(xiàn)更加類人，并且能夠遵循人類的倫理標準。第三，涌現(xiàn)現(xiàn)象使得它的性能具有多方面的性能爆發(fā)。第四，提示學習的方式，使得他能夠靈活適應不同的任務。第五，代碼的學習使得他具有更好的邏輯理解與運用能力。