薩姆·奧爾特曼（Sam Altman）是近期世界級熱門科技人物。他是人工智能公司OpenAI的CEO與聯(lián)合創(chuàng)始人，去年11月，OpenAI推出聊天機器人ChatGPT，五天后用戶總數(shù)突破百萬，兩個月后破億，引發(fā)全世界的AI新浪潮，目前公司最新估值接近300億美元。

最近，奧爾特曼正在全球訪問，已到訪五大洲20多個國家，與當(dāng)?shù)赜脩簟㈤_發(fā)者、學(xué)生、政府交流，談?wù)揂I與AI監(jiān)管、安全問題。

6月10日上午，奧爾特曼在北京智源大會再談AI安全。這是自ChatGPT發(fā)布以來，奧爾特曼首次在中國演講。

ChatGPT讓公眾直觀領(lǐng)受到AI的力量。它展現(xiàn)出強大的翻譯、理解、推理能力，在多項考試中超過人類平均水平，在帶來AGI（通用人工智能，像人一樣思考、從事多種用途的人工智能）曙光的同時，也帶來AI導(dǎo)致失業(yè)、虛假信息，甚至取代人類等問題的擔(dān)憂。

奧爾特曼多次公開談?wù)揂I安全問題。今年2月，他在一篇文章中稱AGI有潛力賦能人類，也有招致社會混亂的風(fēng)險，而OpenAI的使命是確保AGI造福全人類。

3月底，包括特斯拉CEO馬斯克（Elon Musk）、蘋果公司聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克（Steve Wozniak）、AI獨角獸Stability CEO埃瑪?shù)隆つ顾?/span>（Emad Mostaque）等在內(nèi)的科技領(lǐng)袖簽署聯(lián)名信，稱AI技術(shù)“可能對社會造成災(zāi)難性影響”，呼吁各方立即暫停訓(xùn)練比GPT-4更強大的AI系統(tǒng)至少6個月，期間共同開發(fā)一套安全協(xié)議；若無法暫停，政府應(yīng)當(dāng)介入。

奧爾特曼未參與此次簽名，稱該信提出的方法并非最佳，缺少“我們需要暫停的技術(shù)細節(jié)”，但他承認謹慎行事、嚴格面對安全問題非常重要。

兩個月后，他在另一封僅有22個單詞的公開信上簽名：“降低AI（給人類）帶來滅絕的風(fēng)險，應(yīng)該與流行病、核戰(zhàn)爭等其他社會規(guī)模的風(fēng)險一起，成為全球優(yōu)先事項”。在5月中旬的參議院聽證會上，奧爾特曼也敦促政府與立法機構(gòu)對人工智能進行規(guī)范與監(jiān)管。

在6月10日的發(fā)言中，他倡議全球各界就AI安全問題進行協(xié)作，建立互信關(guān)系與國際通行的AI安全規(guī)范，并推進AI對齊（alignment，即引導(dǎo)AI系統(tǒng)的行為，使其符合設(shè)計者的利益和預(yù)期目標）研究。

與馬斯克們不同，奧爾特曼并不贊同人類應(yīng)該為了避免AI的危害，而停止AI研究。相反，他提出，可以嘗試使用AI系統(tǒng)輔助人類，監(jiān)督其他AI系統(tǒng)，OpenAI正在進行相關(guān)的研究。而這一路徑的好處是，隨著AI技術(shù)的發(fā)展，監(jiān)督AI的技術(shù)也在同步發(fā)展。

演講后的問答環(huán)節(jié)，圍繞AI安全以及OpenAI戰(zhàn)略展開，提問者為智源研究院理事長張宏江。奧爾特曼認為，未來十年內(nèi)，全球很可能擁有一個非常強大的AI系統(tǒng)，屆時人類會面臨很多安全問題，因此，要從現(xiàn)在開始準備。他透露，OpenAI近期不會研發(fā)GPT-5，并稱中國有很多優(yōu)秀的人才，他期待中國AI研究者們能為AI安全做出貢獻。

以下為《財經(jīng)十一人》翻譯、整理的演講原文及問答內(nèi)容：

AI安全至關(guān)重要

科學(xué)史告訴我們，技術(shù)進步遵循指數(shù)曲線。我們已經(jīng)在農(nóng)業(yè)、工業(yè)和計算革命中見證這一點。而AI帶來的影響，不僅在于規(guī)模，還在于其進展的速度。它正在以極快的速度拓展人類的想象力。

想象一下未來十年，AGI最終創(chuàng)造的生產(chǎn)力體量可能超過目前最大的公司。這場AI革命，將創(chuàng)造共享的繁榮，并減輕每個人的生活負擔(dān)。但我們必須共同管理這個過程，才能實現(xiàn)這個目標。

現(xiàn)在，我時常感激大國們。它們求同存異，即使在歷史上最困難的時刻，也找到了合作的方式。過往合作的重點多為醫(yī)療和科學(xué)領(lǐng)域，比如消滅小兒麻痹癥和天花等疾病，以及減少氣候變化。

隨著愈發(fā)強大的AI系統(tǒng)出現(xiàn)，全球合作的利害關(guān)系變得前所未有的重要。如果我們不夠謹慎，沒有建立起一個對齊的機制，AI可能會提出不靠譜的建議，進而破壞整個醫(yī)療系統(tǒng)。類似地，旨在優(yōu)化農(nóng)業(yè)實踐的AI系統(tǒng)，如果缺乏對長期可持續(xù)性的考量，可能反而導(dǎo)致自然資源的耗盡、生態(tài)系統(tǒng)的破壞，從而影響糧食生產(chǎn)和環(huán)境平衡。

我希望大家都能認同，推進AGI安全是我們共同的立場。接下來，我想重點談?wù)?，我們可以從哪里著手?/span>

如何保障AI安全

我深信，這會在未來實現(xiàn)。作為地球上的一員，我們需要投資于AGI安全，以實現(xiàn)并享受這個未來。而這需要謹慎的協(xié)調(diào)。這是一項全球性的技術(shù)，輕率發(fā)展帶來的事故，將影響所有人。

國際合作中，有兩個關(guān)鍵領(lǐng)域最為重要。

首先，我們需要建立國際規(guī)范和標準，并注重過程的包容性。我們要為所有國家建立相同的使用AGI的防護措施；在這些措施范圍內(nèi)，人們也有足夠的機會做出自己的選擇。

其次，要建立起全球的互信，以可驗證的方式，安全地建立日益強大的AI系統(tǒng)。我知道這并不容易。我們需要為此付出大量而持續(xù)的關(guān)注。道教說：千里之行，始于足下。我認為，最有建設(shè)性的第一步，是國際科學(xué)界、技術(shù)界展開合作。

我們應(yīng)該在AGI安全領(lǐng)域，推動建立增加透明度和知識共享的機制。發(fā)現(xiàn)緊急情況的研究人員應(yīng)該為了人類的利益，分享他們的發(fā)現(xiàn)。我們需要仔細考慮，如何在尊重和保護知識產(chǎn)權(quán)的同時鼓勵這種做法。

更廣泛地說，我們應(yīng)該推動、引導(dǎo)AI對齊和安全研究。在OpenAI，我們?yōu)榱藢I系統(tǒng)打造成有幫助的、安全的系統(tǒng)，做了技術(shù)方面的對齊研究。比如，我們會調(diào)整ChatGPT，使其不會發(fā)出暴力威脅，或幫助用戶進行有害活動。

但隨著我們接近AGI，任何對齊問題的潛在影響和重要性都將成倍增長?，F(xiàn)在解決這些問題，未來災(zāi)難性結(jié)果的風(fēng)險就會降到最低。

對于當(dāng)前的系統(tǒng)，我們主要利用來自人類反饋的強化學(xué)習(xí)（RLHF）進行訓(xùn)練，以保證它們有益、安全。這只是多種對齊技術(shù)中的一個例子，我們也在研發(fā)新的技術(shù)方法。

GPT-4完成預(yù)訓(xùn)練后8個月，我們都在進行對齊、解決安全問題，然后才部署。GPT-4的對齊程度，比我們之前的模型更高。

然而，對于更高級的AI系統(tǒng)來說，對齊仍然是一個未解決的問題。這需要新的技術(shù)方法，以及政府更多的監(jiān)督。想想未來的AGI系統(tǒng)，可能包含10萬行的二進制代碼，人類監(jiān)督者很難判斷，它是否在進行不當(dāng)行為。

我們已經(jīng)確定了一些新的研究方向，希望能夠取得突破。

首先是可擴展的監(jiān)督。我們可以嘗試利用AI系統(tǒng)輔助人類，監(jiān)督其他AI系統(tǒng)。例如，我們可以訓(xùn)練一個模型，來幫助人類監(jiān)督員發(fā)現(xiàn)其它模型輸出內(nèi)容的缺陷。

其次是可解釋性。我們需要更好地理解，模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用GPT-4來解釋GPT-2中的神經(jīng)元。還有很長的路要走，先進的機器學(xué)習(xí)技術(shù)可以進一步提高我們解釋模型的能力。

最終，我們的目標是訓(xùn)練AI系統(tǒng)，來輔助對齊研究。這種方法的優(yōu)勢在于，它能跟隨AI技術(shù)同步發(fā)展。未來，模型會變得更加智能、更加有用，也能更好地輔助我們找到更好的對齊技術(shù)。

實現(xiàn)AGI的好處，并減輕其風(fēng)險，是我們這個時代的重要挑戰(zhàn)之一。我看到了美國、中國以及世界各地的研究人員的巨大潛力，如果合作能夠?qū)崿F(xiàn)，我相信我們能利用AGI解決世界上最重要的問題，并顯著提高人類的生活質(zhì)量。

以下為智源研究院理事長張宏江與奧爾特曼的問答，Q為張宏江，A為奧爾特曼?！敦斀?jīng)十一人》對問答內(nèi)容、順序進行了刪減與調(diào)整：

Q：這次環(huán)球訪問中，你獲得了哪些成果？

A：我認為一個重大進展是，人們對于共同制定“安全地開發(fā)先進AI系統(tǒng)”的國際標準感到興奮，我們思考在部署強大模型之前，應(yīng)該進行怎樣的測試。我們討論如何構(gòu)建反映全球價值觀和偏好的數(shù)據(jù)庫；我們還探討了如何建立機制來分享安全性研究。

Q：我們距離AGI還有多遠？

A：確切的時間很難預(yù)測。這可能很快發(fā)生，也可能很久才實現(xiàn)。而且，不同人對AGI的定義也不相同。但我確實認為，在未來的10年內(nèi)，我們很有可能擁有非常強大的AI系統(tǒng)。在那樣的世界中，AI安全問題迫切而重要。歷史上有一些例子，新技術(shù)比人們預(yù)想的更快地徹底改變世界。因此，我呼吁國際社會立即共同努力解決這個問題。

Q：我們可以僅僅通過對齊，來解決AGI安全問題嗎？

A：我認為“對齊”這個詞在不同的情境中有不同的含義。我們需要解決整個挑戰(zhàn)，即如何確保我們的AI系統(tǒng)安全。從傳統(tǒng)意義上說，對齊是指讓模型的行為與用戶意圖一致，這當(dāng)然是其中的一部分。但還會涉及其他問題，比如：如何驗證系統(tǒng)正在按照我們期望的方式運行。我們需要看到整體情況。

Q：將來，我們是否有可能需要改變整AGI模型的基礎(chǔ)架構(gòu)，以使其更安全、更容易預(yù)測？

A：無論是從功能角度還是從安全角度來看，我們都有可能需要一些不同的架構(gòu)。這有助于我們解釋當(dāng)前的模型。如果Transformer之后，架構(gòu)領(lǐng)域又有一次巨大的飛躍，我不會感到意外。

Q：如果我們對世界上的模型數(shù)量進行控制，比如，世界上只有三種模型，就像控制擁有核武器的國家數(shù)量一樣，這會讓大模型更加安全嗎？

A：我認為更重要的是，我們是否能建立起一個機制，讓任何強大的模型都有足夠安全措施的限制？我們是否有一個框架，讓任何創(chuàng)建足夠強大模型的人都具備資源和責(zé)任，確保他們創(chuàng)建出安全的系統(tǒng)？

Q：OpenAI和AGI的下一步是什么？會有GPT-5嗎？

A：我對未來的發(fā)展也非常好奇。這是我最喜歡這項工作的一點：身處研究的前沿，沒有人知道未來會發(fā)生什么，這讓人充滿興奮和驚喜。我們正在探索許多關(guān)于未來的可能。當(dāng)然，某個時候我們會嘗試制作一個GPT-5模型，但不會很快。我們還不確定具體的時間。

Q：你如何構(gòu)想OpenAI的發(fā)展，是什么促使你們堅定地朝這個方向努力？是什么讓你不知疲倦地推動AI安全？

A：我無法想象任何一項比安全的AGI更令人興奮、更重要的工作。剛起步時，我們認為成功的概率非常低；但如果我們能找到構(gòu)建AGI的方法，那肯定會帶來深刻的變革。而實現(xiàn)這個目標的一部分就是確保安全性。我真心相信，這是最具變革性的事情之一。