ChatGPT創(chuàng)造了AI的新時(shí)代因?yàn)樗芾斫馊嗽?、并且還會(huì)“說人話”。
以下是B站紅人、人工智能專業(yè)人士YJango（公眾號(hào)：“超智能體”）所做的一個(gè)視頻，用“大白話”來解釋這一點(diǎn)。先交待一句：ChatGPT的工作機(jī)理，在某種程度上也揭示了“人腦是如何學(xué)習(xí)”的，這個(gè)我們后面再說。王玨老師特將視頻中的要點(diǎn)摘錄出來，并同步提供其它相關(guān)材料，供大家關(guān)聯(lián)學(xué)習(xí)：1、ChatGPT的工作機(jī)理是：“單字接龍”！即根據(jù)已經(jīng)知道的字，來預(yù)測(cè)下一個(gè)字
2、ChatGPT的訓(xùn)練方式是：給它“喂”海量語料庫，由機(jī)器用算法計(jì)算出文字之間的關(guān)系，形成“下一個(gè)字”的所有可能的概率分布。（以下是從其它文章中補(bǔ)充的例子）ChatGPT從文中學(xué)習(xí)如何“單字接龍”，采用的是一種由Google工程師提出的全新理論，叫“自注意力”機(jī)制。The animal didn’t cross the street because it was too tired 這個(gè)“it”在這個(gè)句子是指什么呢？它指的是street還是這個(gè)animal呢？這對(duì)于人類來說是一個(gè)簡(jiǎn)單的問題，但是對(duì)于算法則不是。當(dāng)模型處理這個(gè)單詞“it”的時(shí)候，自注意力機(jī)制會(huì)允許“it”與“animal”建立聯(lián)系，并生成如下“關(guān)聯(lián)度概率分布”：3、ChatGPT給出的“答案”，并不存儲(chǔ)在喂給它的語料庫中，也不在它自己存儲(chǔ)的數(shù)據(jù)庫中，完全是它自己“從頭生成”的——這與搜索引擎只能找到“已存儲(chǔ)”的信息完全不同。換句話來說，ChatGPT通過算法對(duì)海量語料庫進(jìn)行處理，生成了自己的“語言模型”！
4、“單字接龍”只是第一階段，是機(jī)器的“自學(xué)習(xí)”（或者叫“無監(jiān)督學(xué)習(xí)”），在此基礎(chǔ)上還需要人類對(duì)其生成結(jié)果的反饋、監(jiān)督與強(qiáng)化：大家看看：ChatGPT的學(xué)習(xí)過程，和人類的學(xué)習(xí)機(jī)制是否很像？——人類學(xué)習(xí)，同樣需要有效的“輸入” 也有不同點(diǎn):人類學(xué)習(xí)的“輸入”不僅僅是語言，更需要“情境”、“情感”的介入——人腦同樣需要對(duì)“輸入”的知識(shí)進(jìn)行“編碼” 不同的是：人腦“編碼”的方法，也存儲(chǔ)在“經(jīng)驗(yàn)”之中，而且人類的編碼方法，也會(huì)隨著時(shí)間的推移、而發(fā)生進(jìn)化?。ㄏ啾戎?，ChatGPT的“算法”是固定的，變的只是文字的“概率分布”）——輸入的目的，同樣是形成“認(rèn)知模型”、而非簡(jiǎn)單記住 不同的是：人腦不僅能生成語言的認(rèn)知模型，還能將語言、思維過程與當(dāng)時(shí)的情境、個(gè)人情感、價(jià)值判斷“揉合”在一起。（相比之下，ChatGPT只是會(huì)說話，卻無法判斷其正誤、價(jià)值、情感）——在“認(rèn)知模型”生成后，同樣需要“輸出”，并且輸出的過程同樣需要反饋、監(jiān)督、強(qiáng)化 就像ChatGPT的“監(jiān)督學(xué)習(xí)”與“強(qiáng)化學(xué)習(xí)” 不同的是：人類的“輸出”本身，由于語言對(duì)思維的承載、梳理等作用，即使無反饋也能促進(jìn)認(rèn)知模型的進(jìn)化；另外，在接受反饋、監(jiān)督時(shí)，人類學(xué)習(xí)會(huì)受到“情感”的影響（比如反感、對(duì)抗、枯燥感等），還會(huì)受到“已有經(jīng)驗(yàn)”的影響，因?yàn)椤跋氩煌ā倍鵁o法改進(jìn)認(rèn)知模型（相比之下，ChatGPT肯定會(huì)改進(jìn)，因?yàn)樗皇钦{(diào)整“概率”而已）。
事實(shí)上，我們完全可以把人腦的學(xué)習(xí)機(jī)制總結(jié)如下：- “先輸入-->后輸出-->再反饋-->適當(dāng)調(diào)整-->輸出-->反饋-->……”
- “輸入”的目的是：初步理解（形成初步認(rèn)知模型）
- “輸出”的目的是：運(yùn)用初步認(rèn)知模型，驗(yàn)證能否順利解決問題
- “反饋”的目的是：讓腦了解初步認(rèn)知模型存在什么問題，以便調(diào)整
其實(shí)，AI與人腦的學(xué)習(xí)機(jī)制如此相似，并非偶然，因?yàn)椋?br>- 最新的AI算法，就是模仿人腦的神經(jīng)機(jī)制設(shè)計(jì)出來的（比如：“深度神經(jīng)網(wǎng)絡(luò)”模仿的就是人腦的視覺神經(jīng)機(jī)制；ChatGPT則模仿人腦的“注意力”機(jī)制）！
- 而上世紀(jì)提出的“認(rèn)知信息加工理論”，則是對(duì)電腦加工信息的模仿！
最后，王玨老師還建議大家特別關(guān)注：ChatGPT中出現(xiàn)的“涌現(xiàn)”現(xiàn)象。
大語言模型的“涌現(xiàn)”（Emergent）現(xiàn)象，是人們（包括AI研發(fā)者）從未想象到的能力，它是指在訓(xùn)練參數(shù)和數(shù)據(jù)量超過一定數(shù)值后，諸如邏輯推理、語言理解等能力突然出現(xiàn)的現(xiàn)象——就好像“智能”是突然出現(xiàn)的！事實(shí)上，當(dāng)AI的“參數(shù)”規(guī)模達(dá)到一定門檻之前，無論參數(shù)數(shù)量如何增長(zhǎng)，它的能力表現(xiàn)都沒有明顯提升（參見下圖，參數(shù)在100億以前，能力改善很小），直到某個(gè)門檻之后（下圖100億之后），能力突然大幅增強(qiáng)、甚至出現(xiàn)新的智能：
下圖反應(yīng)的是通過AI“訓(xùn)練時(shí)計(jì)算量（FLOPs）”的視角，同樣有“涌現(xiàn)”現(xiàn)象：
【附注】歷代ChatGPT的參數(shù)情況如下：
- GPT-4：預(yù)計(jì)達(dá)到100萬億規(guī)模
根據(jù)上述圖表（100億以上參數(shù)才產(chǎn)生“涌現(xiàn)”現(xiàn)象），顯然只有到GPT-3，才能產(chǎn)生“智能”的巨大飛躍！
——當(dāng)然，要訓(xùn)練出GPT-3 的1000億級(jí)的參數(shù)，其投入也是可觀的。據(jù)說單次訓(xùn)練成本為1200萬美元，也就是將近1億RMB。ChatGPT的“涌現(xiàn)”現(xiàn)象，對(duì)于我們理解（猜測(cè)）人腦的運(yùn)轉(zhuǎn)機(jī)制，也大有啟發(fā)。眾所周知：人腦是由最為簡(jiǎn)單的神經(jīng)元細(xì)胞構(gòu)成的。每個(gè)神經(jīng)元細(xì)胞只有一個(gè)簡(jiǎn)單功能：放電/傳導(dǎo)——要么放電、要么不放電；如果放電的話，要么能傳導(dǎo)到下一個(gè)神經(jīng)元，要么傳導(dǎo)終止。如此簡(jiǎn)單的功能，居然使人類產(chǎn)生“意識(shí)”、“智能”、“智慧”，是非常不可思議的。腦科學(xué)家一直弄不懂其中的原理是什么！——人腦中有1000億個(gè)神經(jīng)元（與GPT-3的參數(shù)量接近）——每個(gè)神經(jīng)元大約有1萬個(gè)左右的突觸（最多1000萬億種連接的可能性，與GPT-4的參數(shù)量接近）如果ChatGPT都能產(chǎn)生“涌現(xiàn)”現(xiàn)象，那么人腦意識(shí)、智能、智慧的產(chǎn)生，是不是也是大量神經(jīng)元（連接）而產(chǎn)生的“涌現(xiàn)”現(xiàn)象呢？————————————————————
本公眾號(hào)提供全面、深度的學(xué)習(xí)科學(xué)研究、微課與PPT研究、以及其它實(shí)用技術(shù)研究文章！到公眾號(hào)首頁輸入代碼查看更多研究： wk：微課超級(jí)大全，設(shè)計(jì)制作應(yīng)用一網(wǎng)打盡 xxkx：學(xué)習(xí)科學(xué)研究文章
|
