大模型的智能狂飆，令A(yù)GI（人工通用智能，即全面超越人類的超級人工智能）以前所未有的真實(shí)感逼近眼前。以ChatGPT為代表的語言大模型，已具備自然順暢的語言交流能力，通過了圖靈1950年提出的 “圖靈測試”——無法有效區(qū)分交流對象是人還是機(jī)器。進(jìn)而，多模態(tài)生成（語音、圖像、視頻和時空場景等）也快速發(fā)展，人類很快將無法區(qū)分屏幕背后是真人在線還是數(shù)字AI。隨著具身智能的發(fā)展，服務(wù)機(jī)器人以假亂真也并不遙遠(yuǎn)。

人與AI無法明確區(qū)分，帶來的安全與可信問題牽動著全社會的神經(jīng)。究竟它是福祉？還是威脅？人類應(yīng)該信任愈益強(qiáng)大的AI，還是嚴(yán)加防范？這些議題，也是智源大會這個AI思辨場的“常客”。

今年6月智源大會上，Hinton, Yann LeCun，Max Tegmark、Sam Altman和姚期智、張宏江、Stuart Russell等展開百家爭鳴式討論。更早的2020年智源大會上，圖靈獎得主約瑟夫·希發(fā)基思就以疑問句“Can We Trust Autonomous Systems? Boundaries and Risks（我們能相信自主系統(tǒng)嗎？邊界與風(fēng)險(xiǎn)）”為題發(fā)表演講。

這個問題還極具現(xiàn)實(shí)意義。10月31日，圖靈獎獲得者Yoshua Bengio、姚期智和專家張亞勤、張宏江、Max Tegmark等簽署了一封旨在呼吁加強(qiáng)AI安全監(jiān)管的聯(lián)名信。與此相左，同一天，另一位圖靈獲得者Yann LeCun為首的專家發(fā)布另一封公開信征求簽名，雖然承認(rèn)AI存在巨大風(fēng)險(xiǎn)，但強(qiáng)調(diào)更該更加開源開放。

今年上半年，當(dāng)紅AI研發(fā)機(jī)構(gòu)OpenAI的CEO Sam Altman先是在美國國會呼吁加強(qiáng)對AI的監(jiān)管，隨后在20多個國家就AI安全和監(jiān)管開展巡回演講。今年7月，OpenAI Jan Leike和Ilya Sutskever牽頭提出“超級對齊（Superalignment）”概念并宣布投入20%的計(jì)算資源，花費(fèi)4年時間全力打造一個超級對齊系統(tǒng)，確保即使AI智能超越了人類，仍然符合人類目標(biāo)和價(jià)值觀。

OpenAI認(rèn)為超級智能對齊是這個時代最重要的未解決的技術(shù)問題之一，需要全世界的頂尖智慧來解決這個問題。9月27日，智源研究院組織“超級對齊研討會”，邀請Jan Leike等專家開展研討。在研討會上，我的發(fā)言基于如下兩個基本觀點(diǎn)：

一是我多次強(qiáng)調(diào)的，如果AI智能全面超越人類，也就是實(shí)現(xiàn)了AGI，人類就不可能控制它。人類中心主義只適用于智能低于人類的AI，是智能領(lǐng)域的“地心說”和“日心說”。讓AGI符合人類目標(biāo)和價(jià)值觀，主動權(quán)不在人類一邊。

第二個觀點(diǎn)是，AI和人類對齊，存在三個可能層次：世界觀，人生觀，價(jià)值觀。真正智能的AI，像人類一樣，都是無法徹底理解的智能體。任何智能個體，都無法完全信任，智能體之間建立信任關(guān)系，只能通過客觀知識，也就是只能在理性層次對齊，構(gòu)建共同的世界觀。在共同的世界觀里，AI和人類擁有各自的“人”生，是否應(yīng)該追求對齊？價(jià)值觀層次，人類價(jià)值觀千差萬別，而且不斷變化，讓AI對齊人類價(jià)值觀，首先人類要確立共同價(jià)值觀，人類做得到嗎？

前面這些背景，是目前行業(yè)內(nèi)對AI可信與否、如何推進(jìn)人機(jī)共處的討論，接下來回到約瑟夫·希發(fā)基斯教授的問題——能否來一場基于客觀科學(xué)標(biāo)準(zhǔn)的清晰討論，而非陷入基于主觀的無休止?fàn)幷?

當(dāng)前AI還存在“一本正經(jīng)地胡說八道”現(xiàn)象，但幻覺率正在穩(wěn)步下降，一兩年降到5%以內(nèi)是可能的。人類也說謊（包括有意、無意、善意、惡意等），如果概率低于5%，就是特別靠譜的可信賴的人。AI幻覺率達(dá)到5%之下，是否就可信了呢？當(dāng)然不是！降到1%之下，也不可信。即便是99句都是真話，最后1句謊話，也足以謀財(cái)害命。

那么，能否實(shí)現(xiàn)百分之百可信的AI呢？回答是不可能。

基于邏輯的經(jīng)典AI是白盒系統(tǒng)，依據(jù)的所有事實(shí)和每一步推理都可以核查，可以完全理解，完全可信，但這樣的AI是簡單AI，不具備真正的智能。

以大模型為代表的當(dāng)今AI，是類似人類并終將超越人類的智能系統(tǒng)，其物理基礎(chǔ)是模擬人類神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，這個系統(tǒng)具有類似人腦的黑盒特性。未來人工神經(jīng)網(wǎng)絡(luò)的規(guī)模會更大、更復(fù)雜，智能也會越來越強(qiáng)，也更難理解。

從根本上講，真正的智能系統(tǒng)無法徹底理解。任何簡單到可以理解的系統(tǒng)都不會復(fù)雜到可以智能地運(yùn)行，而任何復(fù)雜到可以智能運(yùn)行的系統(tǒng)都會復(fù)雜到無法理解。

認(rèn)識自己！這個問題已經(jīng)探討了幾千年——部分理解有可能，徹底理解不可能。人腦會產(chǎn)生無窮無盡的可能性，無法窮盡解釋、理解，所以才有“人心叵測”。子曰：“所信者目也，而目猶不可信；所恃者心也，而心猶不足恃。弟子記之，知人固不易矣！”

因此，無論是人，還是AI，都是智能體（后面也用這個詞指代兩者），從根上講都是無法徹底理解的，都無法百分百信任。

但是，“民無信不立”，沒有信任，人類社會就無從形成和發(fā)展。未來人類要和AI共存，不建立信任，新的智能體社會也無法形成和發(fā)展。

信任從何而來？

信任不是天然客觀存在，而是共同建構(gòu)的結(jié)果。具體來說，信任是通過智能體相互作用逐漸建構(gòu)起來的。要建立信任關(guān)系，方法是 “聽其言，觀其行”。

“言”是語言，是人類用語言構(gòu)建的知識體系，跨越了個體。現(xiàn)在的知識體系是人類構(gòu)建的，AI正在快讀學(xué)習(xí)，未來將和人類一起發(fā)展這個知識體系。

知識由語言表達(dá)，包括數(shù)學(xué)符號等科學(xué)語言，也包括表情動作等形象語言。智能體之間通過語言相互交流，形成共識的知識體系，從而建立信任關(guān)系。

這里用“知識”，而不用“文化”，是為了強(qiáng)調(diào)客觀確定的部分，例如麥克斯韋方程和相對論等經(jīng)過檢驗(yàn)的客觀知識，排除習(xí)俗偏好等不具有普適性的個體或個別群體的觀念。

如前所述，智能內(nèi)部的思想意識具有無窮無盡的豐富性，無法完全用語言表達(dá)。但是，智能體無法言說的內(nèi)部狀態(tài)只是內(nèi)部狀態(tài)，正如維特根斯坦所言，語言是思想的邊界，智能體之間關(guān)系，只能通過語言建立，因此信任建立在語言之上。

人類社會形成初期，只能通過表情動作和聲音相互溝通，建立信任關(guān)系，形成部落、社群和社會。人類掌握符號記錄能力后，“口說無憑，立字為據(jù)”，書面合同成為信任約定的手段。今天，區(qū)塊鏈通過構(gòu)建分布式維護(hù)管理、個體不可單獨(dú)撤銷的數(shù)字賬簿，成為數(shù)字經(jīng)濟(jì)時代的信任基礎(chǔ)設(shè)施。

一般意義的信任廣泛存在于日常生活和工作中，并無有形的合同或賬本。這種情況下，一個智能體的言論是否可信，可以通過是否符合事實(shí)、符合共同目標(biāo)和符合知識體系進(jìn)行驗(yàn)證。能夠通過驗(yàn)證，就成為智能體之間的共識，成為信任的橋梁。

需要強(qiáng)調(diào)的是，不能通過驗(yàn)證，也不一定就是“胡說八道”。只要不違反事實(shí)，符合邏輯，都是有價(jià)值的。例如有啟發(fā)意義的文學(xué)、藝術(shù)和科幻作品，或者新的洞見、思想或?qū)W說，超出了既有知識體系，有可能是知識體系不斷擴(kuò)展的源頭活水。

智能體為知識體系輸入源頭活水，這是智能體存在的最大意義，甚至唯一意義。

知識體系也不是絕對可信的。任何知識體系及其蘊(yùn)含的真理都是相對的，都是在基本假設(shè)基礎(chǔ)上構(gòu)建起來的。例如，歐幾里得幾何建立在五條公設(shè)基礎(chǔ)上，去掉平行線公設(shè)，就變成了非歐幾何，歐氏幾何變成非歐幾何的特例。同樣，地心說被日心說替代，之后牛頓萬有引力定律又否定了太陽的中心地位，相對論進(jìn)而否定了絕對時空假設(shè)，就是知識體系不斷更新?lián)Q代的過程。

知識體系也不存在一個絕對可信的根基。數(shù)千年來哲學(xué)家和數(shù)學(xué)家都曾經(jīng)夢想找到這樣一個根基。1931年哥德爾不完備定理徹底擊碎了這個幻想，并且指出，任何復(fù)雜性超越自然數(shù)的形式體系，必然存在既不能證明也不能證偽的命題。

因此，雖然相比任何個體的人或AI而言，知識體系更可信，但這種信任也是應(yīng)該相對的。對于AI生成的斷言，也應(yīng)該如此看待。如果符合既有知識體系，可以作為一個輔助人類思考和學(xué)習(xí)的工具。如果不符合既有知識體系，并且可以被既有知識體系證偽，說明這是錯誤的假說。如果無法通過既有知識體系證實(shí)或證偽，則很有可能是AI提出了真正有創(chuàng)造性的觀點(diǎn)，有可能對知識體系發(fā)展甚至換代作出貢獻(xiàn)。

“行”是行動和實(shí)踐，是智能體與其外部世界的相互作用?！坝^其行”，就是在實(shí)踐中檢驗(yàn)AI所言是否符合實(shí)際，從而進(jìn)一步印證AI的可信度。AI的行動建議是否可信，可通過實(shí)踐效果來檢驗(yàn)。如果AI所言是科學(xué)假說，可以通過實(shí)驗(yàn)檢驗(yàn)證實(shí)或證偽。如果AI所言是技術(shù)發(fā)明，可以通過設(shè)計(jì)制造相應(yīng)的裝置或系統(tǒng)來進(jìn)行驗(yàn)證。如果AI所言被大量實(shí)踐不斷證實(shí)，則它的可信度不斷提升。人類社會的信任體系也是也是這樣逐步構(gòu)建起來的。

但是，99句真話，可能都是為了掩藏第100句謊言。99次實(shí)證，不過為了構(gòu)建一個更大的騙局或救贖。就涉及到一個更根本的問題：人類和AI誰更智能？

在人類智能高于AI智能時，AI是可控的助手，可以被人類調(diào)教為越來越可信的助手。

當(dāng)AI智能高于人類智能時，也就是全面超越人類的AGI（人工通用智能）出現(xiàn)時，人類中心主義破滅，問題轉(zhuǎn)化為AGI是否相信人類，而不是人類是否相信AGI。

無論智能進(jìn)化到什么階段，在智能群體社會中，可信的智能體會存在得更長久。我們不能確定其他智能體是否可信，但可以盡量確保自己可信。