全民Long-LLM時(shí)代終于到來(lái)。

本月，中國(guó)初創(chuàng)AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升級(jí)到200萬(wàn)字參數(shù)量，與五個(gè)月前該大模型初次亮相時(shí)的20萬(wàn)字相比，提升十倍。Kimi Chat的升級(jí)徹底引爆市場(chǎng)，同時(shí)也引起長(zhǎng)文本大模型（Long-LLM）細(xì)分賽道更加激烈的競(jìng)爭(zhēng)。

（圖源：阿里 通義千問(wèn)）

昨日，阿里旗下的大模型工具通義千問(wèn)宣布迎來(lái)重磅升級(jí)，向所有人開(kāi)放最高1000萬(wàn)字的長(zhǎng)文本處理能力，更重要的是，這項(xiàng)升級(jí)完全免費(fèi)。此項(xiàng)升級(jí)對(duì)于專(zhuān)業(yè)領(lǐng)域的意義重大，例如金融、醫(yī)療、科研等從業(yè)人員，都能利用這項(xiàng)功能更快速地提取出核心關(guān)鍵詞，節(jié)省文檔歸整、資料整理的時(shí)間。

不僅是阿里，百度文心一言也迎來(lái)了長(zhǎng)文本處理能力的升級(jí)。據(jù)官方資料顯示，文心一言將在下個(gè)月開(kāi)放免費(fèi)的200萬(wàn)-500萬(wàn)字長(zhǎng)文本處理功能，較此前最高2.8萬(wàn)字的文檔處理能力提升上百倍。

此外，360也在本月正式上線了360 AI搜索，通過(guò)大模型重塑，結(jié)合長(zhǎng)文本技術(shù)在海量搜索結(jié)果中理解并生成精準(zhǔn)的答案提供給用戶。而這款A(yù)PP，也同樣是完全免費(fèi)的。

（圖源：TechTalks）

長(zhǎng)文本一直以來(lái)都是大模型工具「內(nèi)卷」的方向，如何在超百萬(wàn)字的文檔里做出有效的信息整理、觀點(diǎn)歸納，都是技術(shù)上的難點(diǎn)。當(dāng)然，正如半導(dǎo)體行業(yè)與消費(fèi)電子產(chǎn)品市場(chǎng)之間的關(guān)系一樣，很多消費(fèi)者能感受到手機(jī)、電腦等產(chǎn)品性能正在飛躍式成長(zhǎng)，但落實(shí)到實(shí)際體驗(yàn)上，似乎沒(méi)有太多的變化。

而在生成式人工智能（GenAI）領(lǐng)域里，「卷」參數(shù)會(huì)是一個(gè)虛無(wú)縹緲的噱頭，還是造福人類(lèi)的行為，還很難回答。

大模型是如何拿下長(zhǎng)文本技術(shù)的？

在弄清楚「卷」參數(shù)到底有何意義之前，我們首先需要了解AI企業(yè)們到底在「卷」什么東西。

與衡量手機(jī)性能以跑分分?jǐn)?shù)為準(zhǔn)一樣，大模型也有屬于自己的「性能基準(zhǔn)」——token，這是一個(gè)大模型專(zhuān)用的輸入、輸出基本單位。在OpenAI給出的準(zhǔn)則里，1k token等于750個(gè)英文單詞、500個(gè)中文漢字。

（圖源：OpenAI）

同理，token數(shù)字越大，能夠處理的內(nèi)容篇幅就越長(zhǎng)。ChatGPT-4目前的參數(shù)量為8k-32k token、Anthropic公司推出的Claude為100K token，而中國(guó)初創(chuàng)企業(yè)月之暗面推出的Kimi Chat則是達(dá)到了驚人的400K token。具體到實(shí)例，Kimi Chat能夠在20秒左右讀完1篇20萬(wàn)字的長(zhǎng)篇小說(shuō)、通文千義也能在數(shù)秒時(shí)間里讀完80萬(wàn)字的《三體》。

（圖源：雷科技制圖/通義千問(wèn)）

參數(shù)量劇增所帶來(lái)的好處自然是大模型對(duì)于更長(zhǎng)的內(nèi)容擁有更快速的理解能力，這能夠幫助用戶從中提煉到所需的摘要、信息點(diǎn)，又或是直接生成整篇內(nèi)容的總結(jié)。語(yǔ)言大模型之所以能夠快速「引爆」整個(gè)市場(chǎng)，正是得益于這種速度驚人的理解能力。

（圖源：雷科技制圖/Kimi Chat）

但要徹底攻克長(zhǎng)文本，大模型光靠堆砌token參數(shù)量并不能完全解決這個(gè)問(wèn)題。超大數(shù)量的token的確能夠快速閱讀完長(zhǎng)文檔，但段落與段落間的內(nèi)容也更容易出現(xiàn)「斷裂」的情況，這與缺少模型的預(yù)先訓(xùn)練有關(guān)。目前擁有超大token的AI方案提供商，通常在Transformer預(yù)測(cè)詞之前投喂詞元模型，使整體結(jié)論更加完整。

（圖源：Code-Llama）

比如Code-Llama，標(biāo)稱16K token參數(shù)量，但實(shí)際上是由一個(gè)個(gè)4K token窗口連接而成，最終產(chǎn)生出16k token總模型。而這就十分考驗(yàn)大模型工具在窗口之間的推理能力。試想一下，在專(zhuān)業(yè)領(lǐng)域中，長(zhǎng)文內(nèi)容都有緊密的邏輯性與關(guān)聯(lián)性，假如大模型推理失誤，則有可能出現(xiàn)最終生成的摘要牛頭不對(duì)馬嘴，這對(duì)于大模型工具的商業(yè)、個(gè)人應(yīng)用，都是致命的打擊。

當(dāng)然，大模型的推理能力是可以通過(guò)訓(xùn)練得到進(jìn)步的，這就不難解釋為何阿里、百度都選擇優(yōu)先將長(zhǎng)文本模型功能免費(fèi)開(kāi)放給個(gè)人用戶，畢竟更多用戶加入，模型推理能力的進(jìn)化速度才能加快。

（圖源：百度 文心一言）

但免費(fèi)應(yīng)用也是一件好事情，長(zhǎng)文本的快速閱讀一直以來(lái)也是用戶在大模型各項(xiàng)實(shí)際應(yīng)用場(chǎng)景最關(guān)注的一項(xiàng)，比如正在寫(xiě)畢業(yè)論文的學(xué)生黨，可能將超長(zhǎng)的論文喂給大模型工具，讓其快速提煉、總結(jié)，甚至找出論文中的研究結(jié)論。

長(zhǎng)文檔能力拓展，用途比我們想象中要多

阿里的通義千問(wèn)將長(zhǎng)文本檔能力的拓展方向瞄準(zhǔn)在專(zhuān)業(yè)領(lǐng)域的內(nèi)容理解上，尤其是金融、醫(yī)學(xué)等，對(duì)于這些行業(yè)的從業(yè)人員而言，從前需要花上幾天或是十幾天才能讀完的文章，如今只需花上十幾秒就能看完其中的精華之處。

但大模型長(zhǎng)文本的能力遠(yuǎn)不止于此。

（圖源：育碧）

不久前，知名游戲公司育碧公開(kāi)的全新「NEO NPC」技術(shù)，正是Long-LLM（長(zhǎng)文本大模型）升級(jí)后衍生的新方向。眾所周知，3A游戲大作的靈魂往往與其精彩的劇本離不開(kāi)關(guān)系，其中各式各樣的游戲角色，也因其豐富的背景故事和鮮明的個(gè)性深受玩家喜好。大模型從1k token進(jìn)化到100k token，甚至是400k token，能夠讓游戲劇本完整地覆蓋到每個(gè)游戲角色里，讓他們的對(duì)話、行為，既符合游戲的世界觀，又能保證一定的靈活性。

這項(xiàng)能力同樣可以應(yīng)用在我們生活中最離不開(kāi)的功能——搜索。

（圖源：雷科技制圖/360AI 搜索）

本月初，360在北京舉行了一場(chǎng)活動(dòng)，旗下全新360 AI 搜索和360 AI 瀏覽器率先亮相。360 AI 搜索的核心在于“理解”、“提煉”、“總結(jié)”，即拋開(kāi)傳統(tǒng)搜素引擎將所有與之相關(guān)的內(nèi)容為用戶一一呈現(xiàn)的做法，主動(dòng)介入搜索結(jié)果，在數(shù)以萬(wàn)計(jì)的匹配信息里提煉出最有效的信息。

360 AI 瀏覽器則是變成徹底的「AI工具」。周鴻祎解釋道，360 AI 瀏覽器的定位是學(xué)習(xí)、生產(chǎn)力工具，它能幫助用戶快速閱讀書(shū)籍、文章，了解視頻內(nèi)容等。此外，360 AI 瀏覽器未來(lái)還將擁有續(xù)寫(xiě)功能，這同樣基于大模型長(zhǎng)文檔的理解。

更重要的是，更長(zhǎng)的文檔內(nèi)容理解有助于加速AI快速過(guò)渡到AGI（通用大模型）時(shí)代。正如前文所說(shuō)，Long-LLM較之前最大的變化在于對(duì)超長(zhǎng)文本的理解、記憶、總結(jié)能力，這些能力可以是大模型更加「擬人」，即記住樣本的真實(shí)喜好從而判斷其行為，又或是根據(jù)真實(shí)世界的物理規(guī)則，生成完全符合實(shí)際的內(nèi)容。

Long-LLM能改變世界，但算力難以解決

早在去年底，大模型長(zhǎng)文本技術(shù)就已經(jīng)進(jìn)入到火熱階段，但卻鮮有AI企業(yè)將這項(xiàng)技術(shù)應(yīng)用到大模型工具中，更別提免費(fèi)向大眾開(kāi)放了。

OpenAI CEO Altman在接受公開(kāi)訪問(wèn)時(shí)也表示，由于算力不足，GPT-4的32K token短期內(nèi)無(wú)法向大眾開(kāi)放。要知道，OpenAI可是當(dāng)前人工智能市場(chǎng)里獲投資最高的頭部企業(yè)之一，連它都空有技術(shù)卻無(wú)法落地，不免讓人對(duì)Long-LLM的未來(lái)感到擔(dān)憂。

在算力不足的前提下有沒(méi)有辦法「投機(jī)取巧」呢？當(dāng)然有。

目前主流節(jié)省算力的長(zhǎng)文本技術(shù)通常有三種，分別是短文檔重復(fù)檢索、內(nèi)容分組檢索和模型本身的優(yōu)化。前兩種方案在技術(shù)原理上相對(duì)一致，都是將重復(fù)的內(nèi)容進(jìn)行「記憶」，節(jié)省理解時(shí)間，減少算力消耗；而模型本身的優(yōu)化則要復(fù)雜許多，相當(dāng)于用短文檔推導(dǎo)出長(zhǎng)文檔，這非?？季磕Ｐ捅旧淼慕Y(jié)構(gòu)優(yōu)化。

（圖源：英偉達(dá)）

不過(guò)，無(wú)論采用哪種方法，其精度仍有待加強(qiáng)，這就是為何我們?nèi)栽谄诖鼜?qiáng)大的計(jì)算卡出現(xiàn)，比如前不久GTC 2024上，英偉達(dá)發(fā)布的最強(qiáng)計(jì)算顯卡Blackwell GB200。關(guān)于這顆當(dāng)前最強(qiáng)AI加速卡的詳細(xì)解析，雷科技在早前的文章里已有報(bào)道，歡迎各位訂閱查看。

在當(dāng)前，算力仍是阻礙Long-LLM成長(zhǎng)的一大關(guān)鍵因素，但隨著英偉達(dá)、英特爾等硬件供應(yīng)商不斷加碼，這項(xiàng)技術(shù)在未來(lái)也將成為AI領(lǐng)域發(fā)展的風(fēng)向標(biāo)之一。

寫(xiě)在最后

如果說(shuō)OpenAI的Sora展現(xiàn)出其在AGI時(shí)代關(guān)于視頻領(lǐng)域上的想象，那么Long-LLM則是奔向全場(chǎng)景通用智能的基樁。

大模型長(zhǎng)文本技術(shù)能讓AI助手記住用戶的所有你與它談?wù)撨^(guò)的話題，這讓你們之間能夠創(chuàng)造真實(shí)的回憶，而不是像從前一樣，在開(kāi)始新對(duì)話之后，前面的「AI」就忘記了剛剛發(fā)生過(guò)的任何事情。這使得它能夠變成更好的AI智能客服，畢竟即便是真人，也難以記住與每位咨詢者發(fā)生過(guò)的對(duì)話。同樣的，Long-LLM還能化身數(shù)字人主播、創(chuàng)造數(shù)字偶像等等。

或許，在大模型長(zhǎng)文本技術(shù)的支持下，AGI時(shí)代將在不久后真正到來(lái)。