國內(nèi)自研大模型迎來新面孔，而且發(fā)布即開源！

最新消息，多模態(tài)大語言模型TigerBot正式亮相，包含70億參數(shù)和1800億參數(shù)兩個(gè)版本，均對(duì)外開源。

由該模型支持的對(duì)話AI同步上線。

寫廣告語、做表格、糾正語法錯(cuò)誤，效果都不錯(cuò)；也支持多模態(tài)，能生成圖片。

評(píng)測結(jié)果顯示，TigerBot-7B已達(dá)到OpenAI同樣大小模型綜合表現(xiàn)的 96%。

△公開 NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測，以O(shè)penAI-instruct GPT-6B-SFT為基準(zhǔn)，歸一化并平均各模型的得分情況

而更大規(guī)模的TigerBot-180B或是目前業(yè)內(nèi)開源的最大規(guī)模大語言模型。

此外，團(tuán)隊(duì)還一并開源100G預(yù)訓(xùn)練數(shù)據(jù)、監(jiān)督微調(diào)1G或100萬條數(shù)據(jù)。

基于TigerBot，開發(fā)者在半天內(nèi)就能打造出自己的專屬大模型。

目前TigerBot對(duì)話AI已邀請(qǐng)內(nèi)測，開源代碼數(shù)據(jù)等已上傳至GitHub（詳細(xì)鏈接見文末）。

如上這些重磅工作，來自一支最初只有5人的小團(tuán)隊(duì)，首席程序員&科學(xué)家就是CEO本人。

但這個(gè)團(tuán)隊(duì)，絕非師出無名。

從2017年起，他們就在NLP領(lǐng)域開始創(chuàng)業(yè)，專長垂直領(lǐng)域搜索。最擅長對(duì)數(shù)據(jù)重度以來的金融領(lǐng)域，和方正證券、國信證券等有過深入合作。

創(chuàng)始人兼CEO，有著20多年從業(yè)經(jīng)驗(yàn)，曾任UC伯克利客座教授，手握3篇最佳頂會(huì)論文和10項(xiàng)技術(shù)專利。

如今，他們決心從專長領(lǐng)域走向通用大模型。

而且一開始便從最底層的基礎(chǔ)模型做起，3個(gè)月內(nèi)完成3000次實(shí)驗(yàn)迭代，還有底氣將階段性成果對(duì)外開源。

不禁讓人好奇，他們是誰？想要做哪些事？如今已經(jīng)帶來了哪些階段性成果？

TigerBot是什么？

具體來看，TigerBot是一款國產(chǎn)自研的多語言任務(wù)大模型。

覆蓋生成、開放問答、編程、畫圖、翻譯、頭腦風(fēng)暴等15大類能力，支持子任務(wù)超過60種。

而且支持插件功能，能讓模型聯(lián)網(wǎng)，獲取到更加新鮮的數(shù)據(jù)和信息。

它的定位更偏向辦公場景，提出改善人們工作流、提高效率的目標(biāo)。

比如讓它來幫我寫一條Apple Vision Pro的新聞快訊，效果有模有樣：

或者寫一個(gè)論文大綱，條理清晰、結(jié)構(gòu)合理：

編程也沒問題，并且支持英文對(duì)話。

如果讓它畫圖的話，每次都會(huì)生成3張不一樣的，可以自己挑選。

這次發(fā)布，TigerBot一共推出了兩種size：70億參數(shù)（TigerBot-7B）和1800億參數(shù)（TigerBot-180B）。

團(tuán)隊(duì)將目前取得的階段性成果——模型、代碼、數(shù)據(jù)，通通開源。

開源模型包括三個(gè)版本：

• TigerBot-7B-sft

• TigerBot-7B-base

• TigerBot-180B-research

其中TigerBot-7B-base的表現(xiàn)優(yōu)于OpenAI同等可比模型、BLOOM。TigerBot-180B-research或是目前業(yè)內(nèi)開源的最大規(guī)模模型（Meta開源OPT的參數(shù)量為1750億、BLOOM則為1760億規(guī)模）。

開源代碼包括基本訓(xùn)練和推理代碼，雙卡推理180B模型的量化和推理代碼。

數(shù)據(jù)包括100G預(yù)訓(xùn)練數(shù)據(jù)，監(jiān)督微調(diào)1G或100萬條數(shù)據(jù)。

根據(jù)OpenAI InstructGPT論文在公開NLP數(shù)據(jù)集上的自動(dòng)評(píng)測，TigerBot-7B已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的96%。

而這一版本還只是MVP（最小可行性模型）。

這些成果主要得益于團(tuán)隊(duì)在GPT和BLOOM基礎(chǔ)上，在模型架構(gòu)和算法上都做了更進(jìn)一步的優(yōu)化，也是TigerBot團(tuán)隊(duì)過去幾個(gè)月來的主要?jiǎng)?chuàng)新工作，讓模型的學(xué)習(xí)能力、創(chuàng)造力和生成可控上都有明顯提升。

具體如何實(shí)現(xiàn)？往下看。

性能提升同時(shí)降低成本

TigerBot帶來的創(chuàng)新主要有以下幾個(gè)方面：

• 提出指令完成監(jiān)督微調(diào)的創(chuàng)新算法提升模型可學(xué)習(xí)性

• 運(yùn)用ensemble和probabilistic modeling的方法實(shí)現(xiàn)可控事實(shí)性和創(chuàng)造性

• 在并行訓(xùn)練上突破deep-speed等主流框架中的內(nèi)存和通信問題，實(shí)現(xiàn)千卡環(huán)境下數(shù)月無間斷

• 針對(duì)中文語言更不規(guī)則的分布，從tokenizer到訓(xùn)練算法上做了更適合的優(yōu)化

首先來看指令完成監(jiān)督微調(diào)方法。

它能讓模型在只使用少量參數(shù)的情況下，就能快速理解人類提出了哪類問題，提升回答的準(zhǔn)確性。

原理上使用了更強(qiáng)的監(jiān)督學(xué)習(xí)進(jìn)行控制。

通過Mark-up Language（標(biāo)記語言）的方式，用概率的方法讓大模型能夠更準(zhǔn)確區(qū)分指令的類別。比如指令的問題是偏事實(shí)類還是發(fā)散類？是代碼嗎？是表格嗎？

因此TigerBot涵蓋了10大類、120類小任務(wù)。然后讓模型基于判斷，朝著對(duì)應(yīng)方向優(yōu)化。

帶來的直接好處是調(diào)用參數(shù)量更少，同時(shí)模型對(duì)新數(shù)據(jù)或任務(wù)的適應(yīng)能力更好，即學(xué)習(xí)性（learnability）提高。

在同樣50萬條數(shù)據(jù)訓(xùn)練的情況下，TigerBot的收斂速度比斯坦福推出的Alpaca快5倍，在公開數(shù)據(jù)集上評(píng)測顯示性能提升17%。

其次，模型如何更好平衡生成內(nèi)容的創(chuàng)造性和事實(shí)可控性，也非常關(guān)鍵。

TigerBot一方面采用ensemble的方法，將多個(gè)模型組合起來兼顧創(chuàng)造性和事實(shí)可控性。

甚至可以根據(jù)用戶的需求，調(diào)整模型在二者之間的權(quán)衡。

另一方面還采用了AI領(lǐng)域經(jīng)典的概率建模（Probabilistic Modeling）方法。

它能讓模型在生成內(nèi)容的過程中，根據(jù)最新生成的token，給出兩個(gè)概率。一個(gè)概率判斷內(nèi)容是否應(yīng)該繼續(xù)發(fā)散下去，一個(gè)概率表示生成內(nèi)容離事實(shí)內(nèi)容的偏離程度。

綜合兩個(gè)概率的數(shù)值，模型會(huì)在創(chuàng)造性和可控性上做一個(gè)權(quán)衡。TigerBot中這兩個(gè)概率的得出由專門數(shù)據(jù)進(jìn)行訓(xùn)練。

考慮到模型生成下一個(gè)token時(shí)，往往無法看到全文的情況，TigerBot還會(huì)在回答寫完后再進(jìn)行一次判斷，如果最終發(fā)現(xiàn)回答不準(zhǔn)確，便會(huì)要求模型重寫。

我們在體驗(yàn)過程中也發(fā)現(xiàn)，TigerBot生成回答并不是ChatGPT那樣逐字輸出的模式，而是在“思考”后給出完整答案。

△ChatGPT和TigerBot回答方式對(duì)比

而且由于TigerBot的推理速度很快，能夠支撐模型快速重寫。

這里就要說到TigerBot在訓(xùn)練和推理上的創(chuàng)新了。

除了思考到模型底層架構(gòu)的優(yōu)化，TigerBot團(tuán)隊(duì)認(rèn)為工程化水平在當(dāng)下大模型時(shí)代也很重要。

一方面是因?yàn)橐紤]運(yùn)營效率——隨著大模型趨勢持續(xù)，誰能更快迭代模型非常關(guān)鍵；另一方面當(dāng)然還要考慮算力的經(jīng)濟(jì)性。

因此，他們在并行訓(xùn)練方面，突破了deep-speed等主流框架中的若干內(nèi)存和通信問題，實(shí)現(xiàn)了千卡環(huán)境下訓(xùn)練數(shù)月無間斷。

這使得他們每月在訓(xùn)練上的開銷，能夠節(jié)省數(shù)十萬。

最后，針對(duì)中文連續(xù)性強(qiáng)、多義歧義情況多等問題，TigerBot從tokenizer到訓(xùn)練算法上，都做了相應(yīng)優(yōu)化。

總結(jié)來看，TigerBot實(shí)現(xiàn)的技術(shù)創(chuàng)新，全都發(fā)生在當(dāng)下大模型領(lǐng)域中最受關(guān)注的領(lǐng)域內(nèi)。

不僅是底層架構(gòu)的優(yōu)化，還考慮到了落地層面的用戶需求、開銷成本等問題。并且整個(gè)創(chuàng)新過程的速度非?？?，是10人左右小團(tuán)隊(duì)在幾個(gè)月時(shí)間內(nèi)實(shí)現(xiàn)。

這對(duì)團(tuán)隊(duì)本身的開發(fā)能力、技術(shù)見解、落地經(jīng)驗(yàn)都有非常高的要求。

所以，到底是誰帶著TigerBot突然殺入大眾視野？

虎博科技是誰？

TigerBot的幕后開發(fā)團(tuán)隊(duì)，其實(shí)就藏在它本身的名字里——虎博科技。

它成立于2017年，也就是人們常說的AI上一輪爆發(fā)期內(nèi)。

虎博科技給自己的定位是“一家人工智能技術(shù)驅(qū)動(dòng)的公司”，專注于NLP技術(shù)的應(yīng)用落地，愿景是打造下一代智能且簡單的搜索體驗(yàn)。

具體實(shí)現(xiàn)路徑上，他們選擇了對(duì)數(shù)據(jù)信息最為敏感的領(lǐng)域之一——金融。自研了垂直領(lǐng)域內(nèi)智能搜索、智能推薦、機(jī)器閱讀理解、總結(jié)、翻譯等技術(shù)，推出了智能金融搜索和問答系統(tǒng)“虎博搜索”等。

公司創(chuàng)始人兼CEO為陳燁，是一位世界級(jí)AI科學(xué)家。

他博士畢業(yè)于威斯康辛大學(xué)麥迪遜分校，曾任加州大學(xué)伯克利分?？妥淌?，到現(xiàn)在為止從業(yè)已有20余年。

他先后在微軟、eBay、雅虎擔(dān)任主任科學(xué)家和研發(fā)總監(jiān)等要職，主導(dǎo)研發(fā)了雅虎的行為定向系統(tǒng)、eBay的推薦系統(tǒng)以及微軟搜索廣告競拍市場機(jī)制等。

2014年，陳燁加入大眾點(diǎn)評(píng)。之后美團(tuán)點(diǎn)評(píng)合并，他任美團(tuán)點(diǎn)評(píng)高級(jí)副總裁，分管集團(tuán)廣告平臺(tái)，助力集團(tuán)年廣告收入從1000萬提升至40多億。

學(xué)術(shù)方面，陳燁曾三次獲得頂會(huì)最佳論文獎(jiǎng)（KDD和SIGIR），在SIGKKD、SIGIR、IEEE等人工智能學(xué)術(shù)會(huì)議上發(fā)表20篇論文，擁有10項(xiàng)專利。

2017年7月，陳燁正式創(chuàng)立虎博科技。成立1年后，虎博便快速拿下超億元融資，目前公司披露融資總額達(dá)4億元。

7個(gè)月以前，ChatGPT橫空出世，AI在時(shí)隔6年以后，再次顛覆大眾認(rèn)知。

即便是陳燁這樣在AI領(lǐng)域內(nèi)創(chuàng)業(yè)多年的技術(shù)專家，也用“從業(yè)以來前所未有的震撼”來形容。

而在震撼之外，更多還是激動(dòng)。

陳燁說，看到ChatGPT后，幾乎不用思考或決定，內(nèi)心的呼喚讓他一定會(huì)跟進(jìn)趨勢。

所以，從1月份開始，虎博正式成立了TigerBot的初始開發(fā)團(tuán)隊(duì)。

不過和想象中不太一樣，這是一支極客風(fēng)格非常鮮明的團(tuán)隊(duì)。

用他們自己的話來說，致敬硅谷90年代經(jīng)典的“車庫創(chuàng)業(yè)”模式。

團(tuán)隊(duì)最初只有5個(gè)人，陳燁是首席程序員&科學(xué)家，負(fù)責(zé)最核心的代碼工作。后面成員規(guī)模雖有擴(kuò)充，但也只控制在了10人，基本上一人一崗。

為什么這樣做？

陳燁的回答是：

我認(rèn)為從0到1的創(chuàng)造，是一件很極客的事，而沒有一個(gè)極客團(tuán)隊(duì)是超過10個(gè)人的。

以及純技術(shù)科學(xué)的事，小團(tuán)隊(duì)更犀利。

的確，TigerBot的開發(fā)過程里，方方面面都透露著果斷、敏銳。

陳燁將這個(gè)周期分為三個(gè)階段。

第一階段，也就是ChatGPT爆火不久后，團(tuán)隊(duì)迅速掃遍了OpenAI等機(jī)構(gòu)過去5年內(nèi)所有相關(guān)文獻(xiàn)，大致了解ChatGPT的方法機(jī)制。

由于ChatGPT代碼本身不開源，當(dāng)時(shí)相關(guān)的開源工作也比較少，陳燁自己上陣寫出TigerBot的代碼，然后馬上開始跑實(shí)驗(yàn)。

他們的邏輯很簡單，讓模型先在小規(guī)模數(shù)據(jù)上驗(yàn)證成功，然后經(jīng)過系統(tǒng)科學(xué)評(píng)審，也就是形成一套穩(wěn)定的代碼。

在一個(gè)月時(shí)間內(nèi)，團(tuán)隊(duì)就驗(yàn)證了模型在70億規(guī)模下能達(dá)到OpenAI同規(guī)模模型80%的效果。

第二階段，通過不斷吸取開源模型和代碼中的優(yōu)點(diǎn)，加上對(duì)中文數(shù)據(jù)的專門優(yōu)化處理，團(tuán)隊(duì)快速拿出了一版真實(shí)可用的模型，最早的內(nèi)測版在2月便已上線。

同時(shí)，他們還發(fā)現(xiàn)在參數(shù)量達(dá)到百億級(jí)別后，模型表現(xiàn)出了涌現(xiàn)的現(xiàn)象。

第三階段，也就是到了最近的一兩個(gè)月內(nèi)，團(tuán)隊(duì)在基礎(chǔ)研究上實(shí)現(xiàn)了一些成果和突破。

如上介紹的諸多創(chuàng)新點(diǎn)，就是在這一時(shí)期內(nèi)完成的。

同時(shí)在這一階段內(nèi)整合更大規(guī)模算力，達(dá)到更快的迭代速度，1-2個(gè)星期內(nèi)，TigerBot-7B的能力便快速從InstructGPT的80%提升到了96%。

陳燁表示，在這個(gè)開發(fā)周期內(nèi)，團(tuán)隊(duì)始終保持著超高效運(yùn)轉(zhuǎn)。TigerBot-7B在幾個(gè)月內(nèi)經(jīng)歷了3000次迭代。

小團(tuán)隊(duì)的優(yōu)勢是反應(yīng)速度快，早上確定工作，下午就能寫完代碼。數(shù)據(jù)團(tuán)隊(duì)幾個(gè)小時(shí)就能完成高質(zhì)量清洗工作。

但高速開發(fā)迭代，還只是TigerBot極客風(fēng)格的體現(xiàn)點(diǎn)之一。

因?yàn)樗麄儍H憑10個(gè)人在幾個(gè)月內(nèi)肝出來的成果，將以全套API的形式向行業(yè)開源。

如此程度的擁抱開源，在當(dāng)下趨勢尤其是商業(yè)化領(lǐng)域內(nèi)，比較少見。

畢竟在激烈競爭中，構(gòu)建技術(shù)壁壘是商業(yè)公司不得不面對(duì)的問題。

那么，虎博科技為什么敢于開源？

陳燁給出了兩點(diǎn)理由：

第一，作為一名AI領(lǐng)域內(nèi)的技術(shù)人員，出于對(duì)技術(shù)最本能的信仰，他有一點(diǎn)熱血、有一點(diǎn)煽情。

我們想要以世界級(jí)的大模型，貢獻(xiàn)于中國創(chuàng)新。給行業(yè)一個(gè)可用的、底層基礎(chǔ)扎實(shí)的通用模型，能讓更多人快速訓(xùn)練出專業(yè)大模型，實(shí)現(xiàn)產(chǎn)業(yè)集群的生態(tài)打造。

第二，TigerBot接下來還會(huì)繼續(xù)保持高速迭代，陳燁認(rèn)為在這種賽跑的局面下，他們能保持身位優(yōu)勢。即便是看到有人以TigerBot為底層開發(fā)出了性能更好的產(chǎn)品，這對(duì)于行業(yè)內(nèi)來說又何嘗不是一件好事？

陳燁透露，接下來虎博科技還會(huì)持續(xù)快速推進(jìn)TigerBot的工作，進(jìn)一步擴(kuò)充數(shù)據(jù)來提升模型性能。

“大模型趨勢就像淘金熱”

在ChatGPT發(fā)布6個(gè)月以后，隨著一個(gè)個(gè)大模型橫空出世、一家家巨頭火速跟進(jìn)，AI行業(yè)格局正在被快速重塑。

盡管當(dāng)下還相對(duì)混沌，但大致來看，基本上會(huì)分為模型層、中間層、應(yīng)用層三層。

其中模型層決定底層能力，至關(guān)重要。

它的創(chuàng)新程度、穩(wěn)定程度、開放程度，直接決定了應(yīng)用層的豐富程度。

而應(yīng)用層的發(fā)展是大模型趨勢演進(jìn)的外化體現(xiàn)；更是AIGC愿景里，人類社會(huì)生活走向下一階段的重要影響因素。

那么，在大模型趨勢的起點(diǎn)，如何夯實(shí)底層模型基礎(chǔ)，是行業(yè)內(nèi)必須思考的事。

在陳燁看來，目前人類才只開發(fā)了大模型10-20%的潛力，在fundamental層面還有非常大的創(chuàng)新和提升空間。

就好像曾經(jīng)的西部淘金熱，最初要找到金礦在哪里一樣。

所以在這樣的趨勢和行業(yè)發(fā)展要求下，虎博科技作為國產(chǎn)領(lǐng)域創(chuàng)新代表，高舉開源大旗，迅速起跑、追趕世界最前沿技術(shù)，確實(shí)也為行業(yè)內(nèi)帶來了一股與眾不同的氣息。

國產(chǎn)AI創(chuàng)新正在高速狂奔，未來一段時(shí)間內(nèi)，相信我們還會(huì)看到更多有想法、有能力的團(tuán)隊(duì)亮相，為大模型領(lǐng)域注入新的見解、帶來新的改變。

而這，或許就是趨勢轟轟烈烈演進(jìn)過程中，最迷人之處了。

福利時(shí)刻：