傳谷歌開始小范圍測試Gemini：比訓(xùn)練GPT-4算力大5倍，多模態(tài)能力大提升

天承辦公室 2023-09-16

展開全文

機(jī)器之心報(bào)道

編輯：蛋醬

今年 5 月的谷歌 I/O 大會(huì)上，皮查伊宣布了對(duì)標(biāo) GPT-4 的大模型 PaLM 2，但同時(shí)也提到谷歌的研究重心正在轉(zhuǎn)向 Gemini，后者是一種多模態(tài)和高效的機(jī)器學(xué)習(xí)工具。

為了更快地開發(fā) Gemini，谷歌在今年 4 月份合并了內(nèi)部的兩個(gè)人工智能實(shí)驗(yàn)室：谷歌大腦（Google Brain）和 DeepMind，Gemini 這項(xiàng)聯(lián)合計(jì)劃就由來自兩個(gè)實(shí)驗(yàn)室的研究人員組成的團(tuán)隊(duì)牽頭。

接下來幾個(gè)月，Gemini 的神秘面紗一點(diǎn)點(diǎn)被揭開：我們大概知道該模型是在 Google Brain 和 DeepMind 合并之后開始研發(fā)的，將具有像 GPT-4 一樣的萬億參數(shù)；Gemini 在訓(xùn)練中已經(jīng)展示出了以往模型中從未見過的多模態(tài)能力；一旦經(jīng)過微調(diào)和嚴(yán)格的安全性測試，谷歌同樣將提供不同尺寸和功能的 Gemini 版本，以確保部署在不同的產(chǎn)品、應(yīng)用和設(shè)備上。

最新消息是，據(jù)三位直接知情人士透露，谷歌已經(jīng)允許一小部分公司使用 Gemini 軟件的早期版本，意味著谷歌即將將其納入消費(fèi)者服務(wù)，并通過公司的云計(jì)算服務(wù)出售給企業(yè)。

能否超越 GPT-4？

近日，SemiAnalysis 分析師 Dylan Patel 和 Daniel Nishball 帶來了更多關(guān)于 Gemini 的爆料，其中 Dylan Patel 曾在今年 7 月 11 日曾曝光 GPT-4 的架構(gòu)。

Dylan Patel 和 Daniel Nishball 透露，初代的 Gemini 應(yīng)該是在 TPUv4 上訓(xùn)練的，并且這些 pod 并沒有集成最大的芯片數(shù) —4096 個(gè)芯片，而是使用了較少的芯片數(shù)量，以保證芯片的可靠性和熱插拔。如果所有 14 個(gè) pod 都在合理的掩模場利用率 (MFU) 下使用了約 100 天，那么訓(xùn)練 Gemini 的硬件 FLOPS 將超過 1e26。

不過，Gemini 已開始在新的 TPUv5 Pod 上進(jìn)行訓(xùn)練，算力高達(dá)～1e26 FLOPS，比訓(xùn)練 GPT-4 的算力還要大 5 倍。

另外，Gemini 的訓(xùn)練數(shù)據(jù)庫為 Youtube 上 93.6 億分鐘的視頻字幕，總數(shù)據(jù)集大小約為 GPT-4 的兩倍。

Gemini 由一組大型語言模型組成，可能使用 MOE 架構(gòu)與投機(jī)采樣（Speculative Sampling）技術(shù)，通過小模型提前生成 token 傳輸至大模型進(jìn)行評(píng)估，提高模型總推理速度。

從能力上說，Gemini 支持從聊天機(jī)器人到總結(jié)文本或生成原始文本（如電子郵件草稿、歌詞或新聞文章）的各種功能，這些功能都是基于對(duì)用戶想要閱讀的內(nèi)容的描述。此外，Gemini 還能幫助軟件工程師編寫代碼，并根據(jù)用戶的要求生成原始圖片。

據(jù) The Information 此前報(bào)道，谷歌希望 Gemini 大大提高軟件開發(fā)人員的代碼生成能力，以此追趕微軟的 GitHub Copilot 代碼助手。

谷歌員工還討論過利用 Gemini 來實(shí)現(xiàn)圖表分析等功能，比如要求模型解釋完成圖表的含義，以及使用文本或語音指令來瀏覽網(wǎng)頁瀏覽器或其他軟件。

一位測試過 GPT-4 的人士說，Gemini 至少在一個(gè)方面比 GPT-4 更具優(yōu)勢：除了網(wǎng)絡(luò)上的公共信息外，Gemini 利用了谷歌從其消費(fèi)產(chǎn)品中獲取的大量專有數(shù)據(jù)。因此，該模型在理解用戶對(duì)特定查詢的意圖時(shí)應(yīng)該會(huì)特別準(zhǔn)確，而且它似乎會(huì)產(chǎn)生較少的錯(cuò)誤答案（即幻覺）。

谷歌云服務(wù)迎頭趕上的機(jī)會(huì)

自今年年初 OpenAI 開始出售 GPT-4 的訪問權(quán)限以來，谷歌近幾個(gè)月來一直在積極地將其現(xiàn)有的商用模型提供給更多的開發(fā)者。

今年 5 月，谷歌宣布將通 Vertex AI 向谷歌云客戶提供 PaLM 2 。另一位知情人士說，谷歌計(jì)劃通 Google Cloud Vertex AI service 向企業(yè)提供「Gemini」，包含不同大小的版本，這樣開發(fā)者就可以選擇付費(fèi)購買一個(gè)不太復(fù)雜的版本來處理簡單的任務(wù)，或者購買一個(gè)足夠小的版本在個(gè)人設(shè)備上運(yùn)行。

這位知情人士補(bǔ)充說，谷歌目前讓開發(fā)者使用的是相對(duì)較大的 Gemini 版本，但不是正在開發(fā)的最大版本，后者更接近于 GPT-4。

對(duì)谷歌來說，Gemini 的發(fā)布事關(guān)重大。谷歌花費(fèi)了大量的計(jì)算資源和人力來開發(fā)它作為與 OpenAI 競爭的利器，希望這款軟件除了促進(jìn)其云服務(wù)器租賃業(yè)務(wù)外，還能為從 Bard 聊天機(jī)器人到 Workspace 軟件的新功能提供支持。

據(jù) The Information 報(bào)道，OpenAI 和其他軟件公司（如幫助公司開發(fā)和使用人工智能的 Databricks）也預(yù)測，它們將從對(duì)話式 AI 中獲得可觀的收入。然而，開源大模型的崛起可能會(huì)削弱谷歌和 OpenAI 出售其專有模型訪問權(quán)的關(guān)注度。

也許某天一覺醒來，Gemini 已經(jīng)正式發(fā)布，屆時(shí)它的神秘面紗將被徹底揭開。

谷歌能否憑借 Gemini 扭轉(zhuǎn)局勢？我們只需耐心等待。

參考鏈接：https://www./articles/google-nears-release-of-gemini-ai-to-rival-openai

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自：天承辦公室 > 《022機(jī)器之心》

舉報(bào)/認(rèn)領(lǐng)