一、前言

最近AI繪畫、聊天、代碼生成可以說是刮起了一陣風(fēng)，席卷了互聯(lián)網(wǎng)。各大網(wǎng)站都在瘋狂刷屏相關(guān)的內(nèi)容，也收到了各界的熱烈的關(guān)注。無論是AI繪畫還是聊天這類的技術(shù)都屬于同一個領(lǐng)域：人工智能生成內(nèi)容（AIGC）

小伙伴可能會疑惑，什么是AIGC?

AIGC 即 AI Generated Content，是一種通過人工智能技術(shù)來自動或輔助生成內(nèi)容的內(nèi)容生成方式，是繼專業(yè)生產(chǎn)內(nèi)容（PGC, Professional-generated Content）、用戶生產(chǎn)內(nèi)容（UGC, User-generated Content）之后的新型內(nèi)容創(chuàng)作方式，具有高效性和自動化的特點(diǎn)。隨著深度學(xué)習(xí)模型不斷完善、開源模式的推動，加快了 AIGC 走向落地應(yīng)用的速度。正如我們所看到的，今年是AIGC爆火的一年，其實(shí)在年初并沒有多少AIGC相關(guān)的內(nèi)容出現(xiàn)在互聯(lián)網(wǎng)，但就在這幾個月間，迭代和傳播速度呈指數(shù)級爆發(fā)。而且通過其創(chuàng)作的作品有的還能達(dá)到專業(yè)的級別，甚至“以假亂真”，這給我們帶來了驚喜但也帶來了憂慮。害怕被AI取代。

人類是否被AI取代的話題也是老生常談的了，不可否認(rèn)隨著AI的出現(xiàn)和更新一定會帶走一些傳統(tǒng)的東西，這是無可爭議的事實(shí)。但我們在面對新的技術(shù)變革時，與其擔(dān)心哪天會被機(jī)器替代，不如而思考如何讓機(jī)器為我們做事，讓其成為我們的助手從而更高效，更有價值的完成工作或創(chuàng)造“世界”。所以抱有與技術(shù)共生的理念才能擁抱未來的變化。

參與AIGC領(lǐng)域研發(fā)的公司有很多，谷歌、Meta、英偉達(dá)等巨頭都陸續(xù)加入了該賽道。但在國內(nèi)沒有幾家公司參與其中，主要是因?yàn)榻涌陂_放的限制，AI生成相關(guān)應(yīng)用難以使用。另一方面模型訓(xùn)練成本是巨大的，這也讓不少企業(yè)望而卻步。

但在我探索的過程中發(fā)現(xiàn)一款由昆侖萬維集團(tuán)與合作伙伴奇點(diǎn)智源推出的全系列AIGC模型與算法—“昆侖天工”，可以說是國內(nèi)獨(dú)樹一幟存在，也在業(yè)界處于領(lǐng)先的地位。它們在AI生成能力覆蓋圖像、音樂、編程、文本等全模態(tài)領(lǐng)域都有著杰出的表現(xiàn)。這里將通過該公司的模型和產(chǎn)品深入介紹AIGC在幾大方面的應(yīng)用。

二、生成圖像模型

2018年，一幅由 AI 生成的藝術(shù)品《埃德蒙·貝拉米肖像》以大約300萬人民幣的高價成功拍賣，從那時起，AI 藝術(shù)生成已經(jīng)逐步走進(jìn)大眾的視野：

??今年出現(xiàn)了大量的文本生成圖像模型，尤其是隨著Stable Diffusion 的出現(xiàn)，讓AI生成圖像技術(shù)層面帶來了質(zhì)的突破，甚至已經(jīng)可以生成能夠媲美專業(yè)畫師的作品，生成圖片的效率也大大縮短，由原來的數(shù)小時到幾分鐘，甚至一秒就能出圖。AI作畫能在近期爆火，取得如此巨大進(jìn)展的原因有很大一部分功勞要?dú)w屬于它。

Stable diffusion是一個基于Latent Diffusion Models（潛在擴(kuò)散模型，LDMs）的文圖生成（text-to-image）模型

Latent Diffusion Models通過在一個潛在表示空間中迭代“去噪”數(shù)據(jù)來生成圖像，然后將表示結(jié)果解碼為完整的圖像，讓文圖生成能夠在消費(fèi)級GPU上，在10秒級別時間生成圖片，大大降低了落地門檻。

Latent Diffusion Models整體框架如下圖，首先需要訓(xùn)練好一個自編碼模型（AutoEncoder，包括一個編碼器 E 和一個解碼器 D ）。這樣一來，我們就可以利用編碼器對圖片進(jìn)行壓縮，然后在潛在表示空間上做diffusion操作，最后我們再用解碼器恢復(fù)到原始像素空間即可：

但是Stable Diffusion 模型并不能通過中文提示詞輸入來生成相應(yīng)的圖像。值得慶幸的是昆侖天工有一款名為天工巧繪 SkyPaint的AI繪畫模型在 Stable Diffusion的基礎(chǔ)上做了中文的支持，它也是第一款多語言Stable Diffusion分支模型。

除此之外 SkyPaint 使用 1.5 億級的平行語料優(yōu)化提示詞模型實(shí)現(xiàn)中英文對照，不僅涉及翻譯任務(wù)語料，還包括了 用戶使用頻率高的提示詞中英語料，古詩詞中英語料，字幕語料，百科語料，圖片文字描述語料等多場景 多任務(wù)的海量語料集合，對模型進(jìn)行了深度優(yōu)化，得以讓中文文本能夠有更好的圖像生成效果。 昆侖天工的天工巧繪 SkyPaint 模型均與 當(dāng)前AI 作畫領(lǐng)域最為領(lǐng)先的模型相當(dāng)，下表對比了不同模型在 Flickr30K-CN 數(shù)據(jù)集上的性能表現(xiàn)：

在未來，它們還會支持更多語言的提示詞輸入，更強(qiáng)大的語言生成模型指導(dǎo)圖像生成， 風(fēng)格更加多樣，增加更多藝術(shù)風(fēng)格的支持 以及支持用戶對生成的圖像進(jìn)行二次提示詞編輯圖像功能 。

SkyPaint已經(jīng)發(fā)布了微信小程序的體驗(yàn)版本，我也體驗(yàn)了一些，效果確實(shí)不錯：

輸入文本：

生成效果：

三、文本生成模型

自從人工智能研究公司OpenAI發(fā)布其語言模型GPT-3以來，越來越多的學(xué)生開始利用AI進(jìn)行寫作。甚至將作業(yè)要求輸入OpenAI以及類似的程序，這些程序使用深度學(xué)習(xí)來生成文本能夠達(dá)到“以假亂真”的效果。比如，一位在Reddit上名叫innovate_rye的生物化學(xué)學(xué)科的一年級學(xué)生，教授會安排一些包括擴(kuò)展回答的簡單家庭作業(yè)，當(dāng)他把“寫出生物技術(shù)的五件好事和壞事”提交給AI后，系統(tǒng)能給出一個最后評分為A的答案：

上面提到的GPT-3模式是有史以來最大的神經(jīng)網(wǎng)絡(luò)，由OpenAI在2020年5月發(fā)表的論文“Language Models Are Three Shot Leaners”中首次公開。它具有1750億個參數(shù)，當(dāng)時震驚了業(yè)界。tian

如今也有越來越多基于GPT-3模型的產(chǎn)品出現(xiàn)，最讓我印象深刻的還是昆侖萬維與奇點(diǎn)智源聯(lián)合推出的瑤光和天樞模型。

瑤光的性能更強(qiáng)，適用于需要生成大量內(nèi)容（論文、小說等）場景的應(yīng)用，天樞則適用于需要實(shí)時生成的場景，例如：聊天對話、智能客服等。

它們都擁有多樣的下游能力，包括續(xù)寫，對話，中英翻譯，內(nèi)容風(fēng)格生成，推理，詩詞對聯(lián)等：

并在各項(xiàng)專業(yè)性領(lǐng)域的任務(wù)中（例如分類，匹配，填空，識別，識別）表現(xiàn)突出，與現(xiàn)有大模型的比試中也排列前茅（下圖是它的“瑤光”模型與市面上主流的其它AI模型的參數(shù)對比）：

能取得如此優(yōu)異的成績得益于他們針對中文領(lǐng)域構(gòu)建了千億級別的高質(zhì)量數(shù)據(jù)集，通過高性能a100-gpu集群，訓(xùn)練（200張顯卡，訓(xùn)練了4周，后續(xù)優(yōu)化合計(jì)2周）得到百億參數(shù)量的GPT-3生成模型。

上面提到的對話，中英翻譯、對聯(lián)等功能我們可以在奇點(diǎn)智源官網(wǎng)上體驗(yàn)到。

這里我分享下我體驗(yàn)到的一些功能：

1） 對對聯(lián)

上聯(lián)：只想摸魚不上班，AI生成的下聯(lián)是：常思致富不為官：

這對出來的：常思致富不為官，確實(shí)把我驚艷到了，對的非常工整，也契合上聯(lián)的含義：。

2） 內(nèi)容續(xù)寫

我填寫的內(nèi)容是：寫一篇小文章。今天去了游樂園

AI生成的內(nèi)容如下：

也沒有偏離題意，而且生成的內(nèi)容文筆也不錯，我們再稍微改改就可以得到一篇佳作了。要是我上學(xué)的年代有這樣的技術(shù)，我的作文分?jǐn)?shù)就不會那么低了。

四、AI生成代碼

代碼自動生成對很多程序員包括我認(rèn)為都是很難有達(dá)到商業(yè)級水準(zhǔn)的效果，是一項(xiàng)非常復(fù)雜、困難的挑戰(zhàn)。但隨著開發(fā)阿爾法go的公司deepmind推出的alphacode讓這件事變得不再困難。令人驚訝的是，AlphaCode此前參加了網(wǎng)站Codeforces舉行的10場編程比賽，排名前54.3%，擊敗了46%的參賽者，Elo評分1238。當(dāng)然現(xiàn)階段AlphaCode也只不過是在程序員的競爭中混了個一般水平，但隨著時間的推移，在它經(jīng)歷越來越多的訓(xùn)練和改進(jìn)后一定會產(chǎn)生出非常不錯的效果。alphacode的原理架構(gòu)圖并不復(fù)雜：

1. pretrain：在github的數(shù)據(jù)集上做pretrain。模型就是BERT，pretrain方法也差不多。

2. fine-tune：在 codeforce 數(shù)據(jù)集上做 fine-tune，這個模型是標(biāo)準(zhǔn)的基于 transformer 的 encoder-decoder 結(jié)構(gòu)，encoder輸入是題目的描述（也包括：題目的tags、solution使用的語言、題目中的樣例），decoder的輸出對應(yīng)的ground-truth是一個solution，可以是對的，也可以是錯的。

3. 用訓(xùn)練完的模型 sample 大量的 solution 出來，并且做過濾和聚類。過濾是為了去掉無法通過樣例的代碼（會干掉絕大部分），聚類是為了讓實(shí)現(xiàn)不同但輸出相同的代碼只提交一次（節(jié)約提交的budget）。聚類中，還需要一個獨(dú)立訓(xùn)練的生成測試數(shù)據(jù)的模型。這個步驟是針對競賽題設(shè)計(jì)的，從這個步驟看，直接用生成的代碼直接run錯誤的概率很高。

4. 從聚類最大的類開始挑選，選出10個solution來提交。

昆侖萬維在此領(lǐng)域也推出了第一款多語言開源編程大模型天工智碼SkyCode，能夠根據(jù)代碼注釋寫代碼（解題）等，還支持根據(jù)中文注釋來序列代碼。目前市面上的多種主流代碼語言（java, javascript, c, c++, python, go, shell）等都得到了支持，該模型可以說是大大提高了寫代碼的效率，恐怕不久的將來，程序員只需要review代碼就OK了。而且生成代碼量的速度可以達(dá)到每百字的輸出，下表對比了 Sky-code 模型與其他代碼生成模型的性能：

模型生成的js代碼：

模型生成的Python flask代碼：

現(xiàn)階段天工智碼SkyCode支持Visual Studio Code插件擴(kuò)展，我們可以在擴(kuò)展中搜索skycode進(jìn)行安裝使用，具體的使用教程可以參考官網(wǎng)的插件使用引導(dǎo)：

未來它們還會陸續(xù)支持 Visual Studio， Neovim， JetBrains 等一系列的IDE和編輯器。

五、總結(jié)

“昆侖天工”是由昆侖萬維集團(tuán)與合作伙伴奇點(diǎn)智源推出的全系列AIGC模型與算法，昆侖萬維作為中國領(lǐng)先的互聯(lián)網(wǎng)平臺出海企業(yè)，逐漸在全球范圍內(nèi)形成了海外信息分發(fā)及元宇宙平臺Opera、海外社交娛樂平臺StarX、全球移動游戲平臺Ark Games、休閑娛樂平臺閑徠互娛、投資板塊等五大業(yè)務(wù)，市場遍及中國、東南亞、非洲、中東、北美、南美、歐洲等地，為全球互聯(lián)網(wǎng)用戶提供社交、資訊、娛樂等信息化服務(wù)。截至2022年上半年，全球平均月活躍用戶近 4 億， 海外收入占比達(dá) 75%。昆侖萬維于2015年登陸創(chuàng)業(yè)板，集團(tuán)旗下的業(yè)務(wù)和子公司已先后拓展至美國、俄羅斯、日本、韓國、印度，以及歐洲、非洲、東南亞等地的其他國家。

2022年可以說是AIGC的元年，AIGC的時代也從此刻到來。AIGC 作為 UGC 后新一類創(chuàng)作方式，是數(shù)智時代的典型應(yīng)用創(chuàng)新，它的快速發(fā)展不僅正在革新數(shù)字文化創(chuàng)作的生產(chǎn)范式，也在改變用戶與人工智能的交互模式。當(dāng)然，它現(xiàn)在還處于發(fā)展的初期，還有很多的問題等著去解決，還有不明確的未知需要去探索、踩坑。但相信在不久的將來，在高速發(fā)展的今天，在技術(shù)進(jìn)步的推動下，在商業(yè)前景大好的前提下，AIGC 也將拓展出更多應(yīng)用方式，更好地服務(wù)人們的生活。如 ChatGPT 一樣的 AIGC 產(chǎn)品，終將越來越頻繁地出現(xiàn)在我們的社會場景之中，成為常態(tài)。