|
編輯 | 蘿卜皮 科學(xué)家們的目標(biāo)是發(fā)現(xiàn)能夠準(zhǔn)確描述實(shí)驗(yàn)數(shù)據(jù)的有意義的公式。自然現(xiàn)象的數(shù)學(xué)模型可以根據(jù)領(lǐng)域知識(shí)手動(dòng)創(chuàng)建，或者也可以使用機(jī)器學(xué)習(xí)算法從大型數(shù)據(jù)集自動(dòng)創(chuàng)建。學(xué)界已經(jīng)研究了表示相關(guān)先驗(yàn)知識(shí)與相關(guān)函數(shù)模型合并的問(wèn)題，認(rèn)為尋找與一般邏輯公理先驗(yàn)知識(shí)一致的模型，是一個(gè)懸而未決的問(wèn)題。IBM 研究團(tuán)隊(duì)以及三星 AI 團(tuán)隊(duì)的研究人員開(kāi)發(fā)了一種方法「AI-Descartes」，通過(guò)將邏輯推理與符號(hào)回歸相結(jié)合，能夠從公理知識(shí)和實(shí)驗(yàn)數(shù)據(jù)中對(duì)自然現(xiàn)象模型進(jìn)行原則性推導(dǎo)。該研究以「Combining data and theory for derivable scientific discovery with AI-Descartes」為題，于 2023 年 4 月 12 日發(fā)布在《Nature Communications》。人工神經(jīng)網(wǎng)絡(luò) (NN) 和統(tǒng)計(jì)回歸通常用于自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的模式和關(guān)系。NN 返回「黑盒」模型，其中底層函數(shù)通常僅用于預(yù)測(cè)。在標(biāo)準(zhǔn)回歸中，函數(shù)形式是預(yù)先確定的，因此模型發(fā)現(xiàn)相當(dāng)于參數(shù)擬合。在符號(hào)回歸（SR）中，函數(shù)形式不是預(yù)先確定的，而是由給定列表中的運(yùn)算符（例如，+、-、× 和 ÷）組成，并根據(jù)數(shù)據(jù)計(jì)算得出。SR 模型通常比 NN 模型更「可解釋」，并且需要的數(shù)據(jù)更少。因此，為了從實(shí)驗(yàn)數(shù)據(jù)中以符號(hào)形式發(fā)現(xiàn)自然法則，SR 可能比 NN 或固定形式回歸更有效；NN 與 SR 的集成一直是神經(jīng)符號(hào) AI 近期研究的主題。SR 的一個(gè)主要挑戰(zhàn)是從許多適合數(shù)據(jù)的模型中識(shí)別出具有科學(xué)意義的模型?？茖W(xué)家將有意義的函數(shù)定義為平衡準(zhǔn)確性和復(fù)雜性的函數(shù)。然而，對(duì)于給定的數(shù)據(jù)集存在許多這樣的表達(dá)式，并且并非所有表達(dá)式都與已知的背景理論一致。另一種方法是從已知的背景理論開(kāi)始，但目前還沒(méi)有實(shí)用的推理工具可以從一組已知的公理中生成與實(shí)驗(yàn)數(shù)據(jù)一致的定理。自動(dòng)定理證明器（ATP）是使用最廣泛的推理工具，它可以為給定邏輯理論證明猜想。計(jì)算復(fù)雜性是 ATP 面臨的主要挑戰(zhàn)；對(duì)于某些類型的邏輯，證明猜想是不可判定的。此外，當(dāng)涉及算術(shù)和微積分運(yùn)算符時(shí)，使用形式推理工具從邏輯理論推導(dǎo)模型尤其困難。機(jī)器學(xué)習(xí)技術(shù)已被用于提高 ATP 的性能，例如，通過(guò)使用強(qiáng)化學(xué)習(xí)來(lái)指導(dǎo)搜索過(guò)程。可推導(dǎo)的模型不僅要在經(jīng)驗(yàn)上準(zhǔn)確，而且它們應(yīng)該是可預(yù)測(cè)的、有洞察力的。IBM 研究團(tuán)隊(duì)以及三星 AI 團(tuán)隊(duì)的研究人員，試圖通過(guò)將一種新穎的基于數(shù)學(xué)優(yōu)化的 SR 方法與推理系統(tǒng)相結(jié)合，來(lái)獲得此類模型。這產(chǎn)生了一個(gè)端到端的發(fā)現(xiàn)系統(tǒng)「AI-Descartes」，它通過(guò) SR 從數(shù)據(jù)中提取公式，然后從一組公理中提供公式的可推導(dǎo)性的證明，或提供不一致的證明。當(dāng)模型可證明不可推導(dǎo)時(shí)，研究人員提出了表明公式與可推導(dǎo)公式的接近程度的新度量，并且使用他們的推理系統(tǒng)計(jì)算這些度量的值。圖示：系統(tǒng)概述。（來(lái)源：論文） 在早期將機(jī)器學(xué)習(xí)與推理相結(jié)合的工作中，科學(xué)家使用基于邏輯的描述來(lái)約束生成圖像的 GAN 神經(jīng)架構(gòu)的輸出。也有團(tuán)隊(duì)結(jié)合機(jī)器學(xué)習(xí)工具和推理引擎，來(lái)搜索滿足預(yù)先指定約束的函數(shù)形式。這是用新點(diǎn)擴(kuò)充初始數(shù)據(jù)集，從而提高學(xué)習(xí)方法的效率和最終模型的準(zhǔn)確性。也有團(tuán)隊(duì)還利用先驗(yàn)知識(shí)來(lái)創(chuàng)建額外的數(shù)據(jù)點(diǎn)。然而，這些研究?jī)H考慮對(duì)要學(xué)習(xí)的函數(shù)形式的約束，并沒(méi)有包含一般背景理論公理（描述現(xiàn)象中涉及的其他定律和未測(cè)量變量的邏輯約束）。該論文的第一作者，三星 AI 的研究科學(xué)家 Cristina Cornelio 表示，AI-Descartes 提供了一些優(yōu)于其他系統(tǒng)的優(yōu)勢(shì)，但它最顯著的特點(diǎn)是它的邏輯推理能力。如果有多個(gè)候選方程可以很好地?cái)M合數(shù)據(jù)，系統(tǒng)會(huì)識(shí)別哪些方程最適合背景科學(xué)理論。推理能力也使該系統(tǒng)有別于 ChatGPT 等「生成式 AI」程序，后者的大型語(yǔ)言模型邏輯能力有限，有時(shí)還會(huì)搞亂基礎(chǔ)數(shù)學(xué)。「在我們的工作中，我們正在將第一性原理方法與機(jī)器學(xué)習(xí)時(shí)代更常見(jiàn)的數(shù)據(jù)驅(qū)動(dòng)方法相結(jié)合，這種方法幾個(gè)世紀(jì)以來(lái)一直被科學(xué)家用來(lái)從現(xiàn)有背景理論中推導(dǎo)出新公式?！笴ornelio 說(shuō)， 「這種結(jié)合使我們能夠利用這兩種方法，并為廣泛的應(yīng)用創(chuàng)建更準(zhǔn)確和有意義的模型?！?/span>AI-Descartes 這個(gè)名字是對(duì) 17 世紀(jì)數(shù)學(xué)家和哲學(xué)家 René Descartes 的致敬，他認(rèn)為自然世界可以用一些基本的物理定律來(lái)描述，邏輯推論在科學(xué)發(fā)現(xiàn)中發(fā)揮了關(guān)鍵作用。圖示：對(duì)系統(tǒng)實(shí)施的科學(xué)方法的解釋。（來(lái)源：論文）
|
