OpenAI 創(chuàng)始人 Sam Altman 的環(huán)球之旅已經(jīng)進(jìn)行到第四周，在此期間，他已經(jīng)去到五個(gè)大洲的近 20 個(gè)國(guó)家，與學(xué)生、開發(fā)人員和國(guó)家元首會(huì)面。今天，北京時(shí)間上午 9 點(diǎn) 20 分，Sam 以視頻連線的方式現(xiàn)身于中國(guó)北京舉辦的 2023 智源人工智能大會(huì)，發(fā)布了演講，并接受了院士張宏江的訪談對(duì)話。

演講依然圍繞近期他所呼吁的 AI 安全問題的關(guān)注。Sam 指出，當(dāng)下，AI 正以極快的速度發(fā)展并擴(kuò)展人類想象的畫布。在此過程中，潛在紅利與危機(jī)是并存的。隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。考慮到 AI 未來所帶來的問題（如醫(yī)療、農(nóng)業(yè)領(lǐng)域的應(yīng)用）之嚴(yán)峻性，從當(dāng)下開始重視、推進(jìn) AI 安全是刻不容緩的。

Sam 特別提到，大國(guó)之間分歧常有，但在重要的大事上，還是需要協(xié)調(diào)與合作，尋找共同利益點(diǎn)。他特別引用了老子《道德經(jīng)》中的話：千里之行，始于足下。他認(rèn)為，當(dāng)下可以邁出的最有建設(shè)性的一步，是國(guó)際科技界間的通力合作，特別是推動(dòng)建立提高 AI 安全技術(shù)進(jìn)步方面的透明度和知識(shí)共享的機(jī)制。

值得注意的是，此前在周游列國(guó)時(shí)，在 AI 安全和治理方面，Sam 的主要觀點(diǎn)是：目前 AI 系統(tǒng)還沒有強(qiáng)大到威脅社會(huì)安全的地步，因此不必對(duì)正在研究的 AI 系統(tǒng)進(jìn)行嚴(yán)格監(jiān)管，這無疑在減緩創(chuàng)新。此次在中國(guó)的演講，Sam 的演講未曾涉及監(jiān)管的討論。但他提出，人們的確需要為迎接超出想象強(qiáng)大的 AI 系統(tǒng)進(jìn)行監(jiān)管和安全上的討論。

極客公園全程觀看了這場(chǎng)演講，以下內(nèi)容經(jīng)整理編輯后發(fā)布。

每次我訪問中國(guó)，我遇到的技術(shù)人才都能使我驚奇和振奮。正如你前面提到的，我現(xiàn)在正處于環(huán)世界之旅的第四個(gè)星期。我已經(jīng)去了在五個(gè)大洲的近 20 個(gè)國(guó)家，與學(xué)生、開發(fā)人員和國(guó)家元首會(huì)面。這次旅行對(duì)我是一種激勵(lì)。我們看到了世界各地的人們都已經(jīng)在使用 AI 技術(shù)，以令人難以置信的方式改變生活。我們也收到了來自用戶的寶貴反饋，告訴我們?nèi)绾文苁惯@些工具變得更好。

我們還有機(jī)會(huì)與外國(guó)領(lǐng)導(dǎo)人進(jìn)行有意義的對(duì)話，討論需要建立的監(jiān)管安全措施，以確保安全和可靠地部署日益強(qiáng)大的人工智能系統(tǒng)。

整個(gè)世界現(xiàn)在都在集中注意力，想要解決當(dāng)今的人工智能問題，這也是非常正確的、值得我們努力解決的重要議題。我們還有很多工作要做，但鑒于我們已經(jīng)取得的進(jìn)展，我相信我們一定會(huì)達(dá)到目標(biāo)。

今天，我想談一談未來。具體來說，我想談?wù)勎覀兛吹降?AI 能力的增長(zhǎng)速度，以及我們現(xiàn)在需要做什么，才能為將它們部署到世界做負(fù)責(zé)任的準(zhǔn)備。

科學(xué)史告訴我們，技術(shù)進(jìn)步遵循的是一條指數(shù)型曲線。我們?cè)趲浊陙淼霓r(nóng)業(yè)革命、工業(yè)革命和計(jì)算革命中都看到了這一點(diǎn)。

但是，我們現(xiàn)在正在見證的人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進(jìn)展的速度。它正在擴(kuò)展人類想象力的畫布，并以極快的速度這樣做。

想象一下未來十年的世界，通用人工智能系統(tǒng)，通常稱為 AGI，在幾乎每個(gè)領(lǐng)域?qū)I(yè)技能都超過了人類。這些系統(tǒng)產(chǎn)生的生產(chǎn)力最終可以超過我們最大公司所能產(chǎn)出的集體生產(chǎn)力。

潛在的紅利是巨大的。人工智能革命可以創(chuàng)造我們共享的財(cái)富，而且可能大幅提高每個(gè)人的生活水平。但我們必須共同管理風(fēng)險(xiǎn)，才能達(dá)到這個(gè)目的。

我非常了解，大國(guó)之間有時(shí)可能會(huì)有它們的分歧。從古至今都是如此。但即使在最困難的時(shí)期，大國(guó)們也找到了在最重要的事情上進(jìn)行合作的方法。大國(guó)之間的合作促進(jìn)了關(guān)鍵的醫(yī)療和科學(xué)進(jìn)步，如根除脊髓灰質(zhì)炎和天花等疾病，全球也共同努力減弱了氣候變化風(fēng)險(xiǎn)。

隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。如果我們不小心行事、建立一個(gè)瞄向改善公共衛(wèi)生成果的 AI 系統(tǒng)的宗旨，可能因?yàn)閷?duì)齊出現(xiàn)問題，向人們提供沒有根據(jù)的醫(yī)療建議，反而破壞了整個(gè)醫(yī)療體系。同樣，一個(gè)旨在優(yōu)化農(nóng)業(yè)實(shí)踐的 AI 系統(tǒng)可能會(huì)由于缺乏對(duì)影響糧食生產(chǎn)和環(huán)境平衡的長(zhǎng)期可持續(xù)性的考慮，而無意中耗盡自然資源或破壞生態(tài)系統(tǒng)。我真心希望我們都能同意，推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。

我想在接下來的發(fā)言中重點(diǎn)談?wù)勎艺J(rèn)為我們可以從哪里開始。

第一個(gè)領(lǐng)域是 AGI 治理。AGI 是一種從根本上改變我們文明的強(qiáng)大力量，這意味著有意義的國(guó)際合作和協(xié)調(diào)是極其必要的。如果國(guó)際間能夠合作治理，那么我們每一個(gè)人都能受益。

如果我們安全和負(fù)責(zé)任地對(duì)其進(jìn)行治理，AGI 系統(tǒng)可以為全球經(jīng)濟(jì)創(chuàng)造無與倫比的經(jīng)濟(jì)財(cái)富，能夠解決像氣候變化、健康、安全這樣的共同挑戰(zhàn)，并以無數(shù)其他方式改善社會(huì)。我非常相信這樣的未來將會(huì)到來。而我們所有居住在這個(gè)星球的人，需要共同投資于 AGI 的安全措施，才能到達(dá)、享受這樣的未來。要做到這一點(diǎn)，需要大家認(rèn)真合作。AGI 是一個(gè)全球性的科技，也有著全球范圍內(nèi)的影響力。出現(xiàn)事故或者不負(fù)責(zé)任地發(fā)展，其代價(jià)會(huì)影響我們所有人。

國(guó)際合作中，我認(rèn)為有兩個(gè)關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國(guó)際規(guī)范和標(biāo)準(zhǔn)，并注意過程中注重包容性。在任何國(guó)家使用 AGI 系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國(guó)際標(biāo)準(zhǔn)和規(guī)范。在這些安全護(hù)欄內(nèi)，我們相信人們有足夠的機(jī)會(huì)做出自己的選擇。

第二，我們需要國(guó)際合作，以可核查的方式建立對(duì)安全開發(fā)日益強(qiáng)大的 AI 系統(tǒng)的國(guó)際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

道教之書教育我們，千里之行，始于足下。我們認(rèn)為，我們可以邁出的最有建設(shè)性的一步是與國(guó)際科技界合作，特別是推動(dòng)建立提高 AGI 安全技術(shù)進(jìn)步方面的透明度和知識(shí)共享的機(jī)制。當(dāng)研究人員發(fā)現(xiàn)新出現(xiàn)的安全問題時(shí)，他們應(yīng)為了人類更大的利益分享他們的發(fā)現(xiàn)。我們需要認(rèn)真思考如何在尊重和保護(hù)知識(shí)產(chǎn)權(quán)的同時(shí)，鼓勵(lì)這樣的規(guī)范。這可以為我們深化合作打開新的大門。

更廣泛地說，我們應(yīng)該在促進(jìn)和引導(dǎo) AI 對(duì)齊和安全研究方向進(jìn)行投資。在 OpenAI，在如何讓人工智能系統(tǒng)成為一個(gè)更安全有用的系統(tǒng)的技術(shù)問題上，我們進(jìn)行 AI 對(duì)齊研究。這可能指向，我們?cè)撊绾斡?xùn)練 ChatGPT，使其不進(jìn)行暴力威脅或協(xié)助用戶進(jìn)行有害的活動(dòng)。

但隨著我們?nèi)找娼咏?AGI 的時(shí)代，沒有對(duì)齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長(zhǎng)。現(xiàn)在積極主動(dòng)地解決這些挑戰(zhàn)，能將未來出現(xiàn)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。

對(duì)于目前的系統(tǒng)，我們主要利用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)來訓(xùn)練我們的模型，使其成為一個(gè)有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個(gè)例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預(yù)培訓(xùn)到我們部署它，我們專門花了 8 個(gè)月的時(shí)間來進(jìn)行對(duì)齊方面的工作?？偟膩碚f，我們認(rèn)為我們?cè)谶@方面做得很好。GPT4 比我們以前的任何模型都更加與人類對(duì)齊。

然而，對(duì)于更先進(jìn)的系統(tǒng)，對(duì)齊仍然是一個(gè)未解決的問題，我們認(rèn)為這需要新的技術(shù)方法，同時(shí)增強(qiáng)治理和監(jiān)督。

我們想象一下，未來的 AGI 系統(tǒng)或許具有 10 萬行二進(jìn)制代碼，人類監(jiān)管人員不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。因此，我們正在致力于研究一些新的和互補(bǔ)的研究方向，希望能實(shí)現(xiàn)突破。

其中一個(gè)是可擴(kuò)展監(jiān)督。我們可以嘗試使用 AI 系統(tǒng)來協(xié)助人類監(jiān)督其他 AI 系統(tǒng)。例如，我們可以訓(xùn)練一個(gè)模型來幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個(gè)是可解釋性。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來解釋 GPT-2 中的神經(jīng)元。 在另一篇論文中，我們使用 Model Internals 來檢測(cè)一個(gè)模型何時(shí)在說謊。我們還有很長(zhǎng)的路要走。我們相信，先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們解釋的能力。

最終，我們的目標(biāo)是訓(xùn)練 AI 系統(tǒng)來幫助進(jìn)行對(duì)齊研究。這種方法的好處在于，它可以隨著 AI 的發(fā)展速度而擴(kuò)展。

獲得 AGI 帶來的非凡好處，同時(shí)降低風(fēng)險(xiǎn)，是我們這個(gè)時(shí)代的開創(chuàng)性挑戰(zhàn)之一。我們看到中美兩國(guó)和世界各地的研究人員有很大的潛力共同實(shí)現(xiàn)共同的目標(biāo)，并致力于努力解決 AGI 對(duì)齊帶來的突出技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來解決世界上最重要的問題，并極大地改善人類的生活質(zhì)量。非常感謝。