人工智能對人類的威脅，堪比大流行病和核戰(zhàn)爭，這份簡短聲明旨在鼓勵公開討論AI最嚴重的威脅，降低AI滅絕人類的可能風險。帶頭簽名這份聲明的是深度學習領(lǐng)域的兩位重磅專家杰弗里·辛頓（Geoffrey Hinton）和約書亞·本希奧（Yoshua Bengio）。兩人和楊立昆（Yann LeCun）一起，因在深度學習方面的開創(chuàng)性工作，共同獲得了2018年圖靈獎（有“計算界的諾貝爾獎”之稱），被稱為“AI教父”或“深度學習教父”。

除此以外，目前三大領(lǐng)先的自然語言大模型研究機構(gòu)的CEO，OpenAI的山姆·阿爾特曼（Sam Altman）、谷歌DeepMind的杰米斯·哈薩比斯（Demis Hassabis）和Anthropic的達里奧·阿莫迪（Dario Amodei），也都簽名支持。簽名名單還包括了清華大學智能科學講席教授、智能產(chǎn)業(yè)研究院院長張亞勤，中國科學院自動化研究所研究員、中國科學院大學教授曾毅等中國學者。

當前對人工智能表示擔憂的聲音已經(jīng)大到無法忽視。3月，一封由科技行業(yè)專家牽頭的公開信，因為擔憂人工智能可能對“社會和人類構(gòu)成深遠風險”，呼吁暫停先進人工智能模型的開發(fā)。4月，杰弗里·辛頓從谷歌離職，以便公開討論人工智能技術(shù)的危險性。

在6月的北京智源大會AI安全與對齊論壇上，山姆·阿爾特曼和杰弗里·辛頓分別作了開場和閉幕演講，強調(diào)了人工智能的未來風險，呼吁全球盡早邁出通用人工智能（AGI）治理的第一步。辛頓表示數(shù)字式智能群體共享知識的速度遠超人類，當AI進化到比人類更有智慧的時候，會帶來巨大的風險?！暗侥壳盀橹?，我還想象不到更智能的事物，被一些反倒沒那么智能的事物所控制的例子。我打個比方，假設(shè)青蛙創(chuàng)造了人類，那么你認為現(xiàn)在誰會占據(jù)主動權(quán)，是人，還是青蛙？”^［2］

人工智能可能滅絕人類的說法，有一個前提假設(shè)，即具備人類級別學習能力的計算機會由于技術(shù)優(yōu)勢而超越人類智能，成為通用人工智能（AGI）。通用人工智能（AGI)的重大進展可能導致人類滅絕或其他一些無法恢復的全球災難，正如大猩猩的命運取決于人類的善意，人類的命運也可能取決于未來超級智能機器。

自阿蘭·圖靈開始，對失控的、自我改進的機器的擔憂由來已久。隨著ChatGPT等生成式人工智能工具的普遍使用，曾經(jīng)的極端觀點引起了廣泛關(guān)注。2021年1月發(fā)表在《人工智能研究雜志》的一篇文章，通過計算提出，控制遠超出人類理解能力的超級智能幾乎是不可能的。因為要控制超級智能，我們需要對其進行模擬和分析，但如果我們無法理解它，就無法創(chuàng)建這樣的模擬。當我們不了解人工智能將要提出的場景類型，就無法制定諸如“不對人類造成傷害”之類的規(guī)則。^［3］

一篇名為“自然選擇偏愛AI，而不是人類（Natural Selection Favors AIs over Humans）”的文章，認為人類和AGI的前途類似于自然選擇。

自然選擇理論中，自私的物種通常在物競天擇中更具優(yōu)勢。達爾文主義也可以適用于AGI，當AGI追求自身利益而對人類關(guān)注較少時，將會給人類帶來災難。^［4］牛津大學人類未來研究所人工智能安全研究員瑞安·凱里（Ryan Carey）表示：“如果人工智能具有某些成分，即超人智能、廣泛的自主權(quán)、一些資源和新技術(shù)，它可能會對人類的未來構(gòu)成威脅。”“如果你將少數(shù)擁有一些資源和一些現(xiàn)代技術(shù)的現(xiàn)代人類置于一個擁有80億非人類靈長類動物成員的世界中，那可能對該物種的未來構(gòu)成威脅。”

目前，以ChatGPT為代表的大型語言模型（LLM）還遠不能實現(xiàn)通用人工智能（AGI）。對于人工智能超過人類智能的AGI什么時候到來的問題，杰弗里·辛頓表示：“這個東西實際上可能比人類更聰明——有一些人相信這一點，...... 但大多數(shù)人認為這還遙遠。而我也認為離那還很遠，可能是30到50年甚至更久以后。顯然，我不再持有這樣的觀點了?！痹趥涫芡瞥绲念A測平臺Metaculus上，AGI的平均預測日期是2032年。^［5］

人工智能滅絕人類的風險假說，有令人信服的邏輯。劍橋大學計算與生物學習實驗室的助理教授大衛(wèi)·克魯格（David Krueger），說明了人工智能接管人類的三個要素：

首先，AI在優(yōu)化特定目標時缺乏人類常識，可能發(fā)出奇怪和不受歡迎的行為。由于AI“思考”解決問題的方式，AI處理看似簡單的事情可能會產(chǎn)生無法預測的意想不到的后果。例如，如果有人告訴孩子家里的書本數(shù)量與大學錄取有關(guān)，他可能不會多讀書給孩子聽，而是開始堆放成箱的書本。即使AI只能在非常嚴格的規(guī)則下運行，異常行為仍然會發(fā)生。

第二，AI在特定任務(wù)中的過度優(yōu)化可能會導致權(quán)力尋求行為。當特定任務(wù)優(yōu)化的AI有一個單一的目標時，它可能會使用其掌握的所有工具來實現(xiàn)該目標?！斑@種推理循環(huán)不會自然結(jié)束，”克魯格說，“如果你在做以目標為導向的推理，尤其是當你有一個長期目標時，你自然會最終尋求越來越多的權(quán)力和資源。”

第三，人類會主動向AI移交更多的權(quán)力?！叭绻憬o系統(tǒng)更多的自主權(quán)、更多的權(quán)力，或者以更多方式重塑世界的能力，那么它就會更有能力。”克魯格繼續(xù)說道，“如果你讓它直接采取影響現(xiàn)實世界或影響數(shù)字世界的行動，你將賦予它更多的力量，使其更有能力更高效地實現(xiàn)你的目標。”

將三個要素放在一起可能會導致這樣的結(jié)果：人類目標可能與AI的目標不同。當我們給AI一個目標時，它可能不是我們的實際目標，這是“AI對齊”問題。AI對齊的目標是確保AGI能夠正確理解人類的意圖，將其行動與人類價值保持一致。^［6］

哲學家尼克·博斯特羅姆（Nick Bostrom）在回形針制造機思想實驗中令人印象深刻地捕捉到了這一點。他設(shè)想了一個負責制作回形針的人工智能，通過對現(xiàn)實世界系統(tǒng)的充分控制，它可能會采取極端措施，如消耗所有資源和轉(zhuǎn)化所有物質(zhì)來制造盡可能多的回形針，從而對人類生存產(chǎn)生威脅。

誠然，關(guān)于人工智能的未來風險存在分歧。據(jù)耶魯大學首席執(zhí)行官領(lǐng)導力研究所對高管進行的一項調(diào)查顯示，42%的受訪者表示人工智能可能在5~10年內(nèi)“毀滅人類”，58%的受訪者表示“不擔心”人工智能的生存威脅。^［7］

人工智能滅絕人類風險言論在引發(fā)了廣泛關(guān)注的同時，也引來了質(zhì)疑的聲音。諸多專家和公眾人物認為，AI末日論分散了人們對真正重要的實際問題的注意力。Meta首席AI科學家、與杰弗里·辛頓和約書亞·本希奧共同獲得2018年圖靈獎的楊立昆（Yann LeCun）表示，對人工智能未來風險的擔憂“極其荒謬”。

計算機變得比人類更聰明，還需要很多年。他認為，那些擔憂的人之所以這樣，是因為他們無法想象如何才能確保人工智能的安全。“這就好像你在1930年問如何確保渦輪噴氣發(fā)動機的安全，1930年渦輪噴氣發(fā)動機還沒有發(fā)明，就像人類水平的人工智能還沒有發(fā)明一樣......渦輪噴氣式飛機最終變得非?？煽亢桶踩?，人工智能同樣如此。”Meta的人工智能研究副總裁喬爾·皮諾（Joelle Pineau）同意楊立昆的觀點，她表示，對AI未來風險的極度關(guān)注，擠壓了討論當前人工智能的危害的空間。^［8］

紐約大學名譽教授加里·馬庫斯(Gary Marcus)，于3月簽署了公開信，與包括埃隆·馬斯克（Elon Musk）在內(nèi)的1000多人一起，呼吁全球暫停人工智能開發(fā)，但他沒有簽署22字聲明，他認為AI的生存威脅被“夸大了”，社會不應(yīng)該把注意力集中在沒有人幸存的牽強的場景上，而應(yīng)該把注意力集中在真正的危險所在。

人工智能公司Cohere的首席執(zhí)行官艾丹·戈麥斯（Aidan Gomez）評價，這是“對我們時間的荒謬利用”。麻省理工學院經(jīng)濟學教授達倫·阿西莫格魯(Daron Acemoglu)認為，它（AI滅絕人類的風險）夸大了當前的技術(shù)水平，“使我們將注意力從這些新模型可能造成的更普遍的損害上移開，包括錯誤信息、失業(yè)、民主威脅等”。

同樣地，Nature網(wǎng)站上一篇題為“當AI今天帶來風險時，停止談?wù)撁魈斓腁I世界末日（Stop talking about tomorrow’s AI doomsday when AIposes risks today）”的社論文章旗幟鮮明地指出，就像魔術(shù)師的花招一樣，人工智能滅絕人類的言論分散了人們對真正問題的注意力，阻礙了對人工智能目前造成的社會危害的有效監(jiān)管。

有關(guān)AI風險和監(jiān)管的對話默認了由公司高管和技術(shù)人員組成的同質(zhì)群體主導，而將其他社區(qū)排除在外。紐約市AI Now研究所（研究所專注于人工智能的社會影響）所長安巴·卡克(Amba Kak)表示，科技行業(yè)領(lǐng)袖撰寫的聲明“本質(zhì)上是在界定誰才是這場對話中的專家”。

人工智能有許多潛在的好處，從合成數(shù)據(jù)到協(xié)助醫(yī)療診斷，可能將在醫(yī)療保健、教育和應(yīng)對氣候危機領(lǐng)域發(fā)揮重要的積極作用。但它同時也造成了有據(jù)可查的危害，生成和傳播大量錯誤信息，帶有系統(tǒng)偏見，擠壓勞動市場崗位。

關(guān)于這些明確而現(xiàn)實的問題的討論正處于“缺氧”狀態(tài)。政府必須建立適當?shù)姆珊捅O(jiān)管框架，科技公司必須制定負責任地開發(fā)人工智能系統(tǒng)和工具的行業(yè)標準，研究人員必須發(fā)揮作用，建立負責任的人工智能文化。關(guān)于存在風險的危言聳聽的敘述沒有建設(shè)性，認真討論實際風險以及遏制風險的行動更重要?！叭祟愒皆缃⑴c人工智能的互動規(guī)則，我們就能越早學會與技術(shù)和諧相處?！?sup style="font-size: 12px;">［9］

參考文獻（上下滑動查看全部內(nèi)容）