里約奧運(yùn)會(huì)期間，寫(xiě)稿機(jī)器人「Xiaomingbot」通過(guò)對(duì)接奧組委的數(shù)據(jù)庫(kù)信息，可以進(jìn)行實(shí)時(shí)撰寫(xiě)新聞稿件，在 16 天內(nèi)發(fā)布了 456 篇資訊報(bào)道，平均新聞生成到發(fā)布時(shí)間為 2 秒鐘，幾乎達(dá)到電視直播的傳播速度。Xiaomingbot 是今日頭條實(shí)驗(yàn)室研發(fā)的AI機(jī)器人，可以通過(guò)兩種文本生成技術(shù)產(chǎn)出新聞：一是針對(duì)數(shù)據(jù)庫(kù)中表格數(shù)據(jù)和知識(shí)庫(kù)生成自然語(yǔ)言的比賽結(jié)果報(bào)道，即簡(jiǎn)訊；二是利用體育比賽文字直播精煉合成比賽過(guò)程的總結(jié)報(bào)道，即資訊。

隨著自然語(yǔ)言處理、知識(shí)庫(kù)等人工智能技術(shù)的發(fā)展，許多媒體已經(jīng)開(kāi)始了機(jī)器人報(bào)道的探索。《紐約時(shí)報(bào)》數(shù)字部門(mén)開(kāi)發(fā)了機(jī)器人編輯 Blossomblot ，每天推送 300 篇文章，每篇文章的平均閱讀量是普通文章的38倍。此外，《紐約時(shí)報(bào)》還會(huì)在財(cái)報(bào)季、運(yùn)動(dòng)比賽報(bào)道的時(shí)候使用機(jī)器人來(lái)寫(xiě)稿；美聯(lián)社在過(guò)去一年多時(shí)間里使用 Wordsmith 系統(tǒng)編發(fā)企業(yè)財(cái)報(bào)；在華爾街引起巨大反響的 Kensho 可以通過(guò)接入美國(guó)勞工部等數(shù)據(jù)源來(lái)自行創(chuàng)造投資分析報(bào)告；電訊社也計(jì)劃使用雅虎在報(bào)導(dǎo)夢(mèng)幻橄欖球聯(lián)賽時(shí)用到的技術(shù)，用來(lái)發(fā)布一些美式橄欖球回顧；Automated Insights 的寫(xiě)作軟件去年寫(xiě)了 150 億篇文章，宣稱(chēng)自己是世界上最大的內(nèi)容生產(chǎn)者；路透社也在發(fā)表機(jī)器撰寫(xiě)的文章，該系統(tǒng)的負(fù)責(zé)人認(rèn)為「在一次盲測(cè)中，機(jī)器的作品表現(xiàn)得比人類(lèi)作品更具可讀性。」；此外，還有專(zhuān)門(mén)提供「標(biāo)題黨」服務(wù)的 Click-o-Tron 公司。

媒體領(lǐng)域出現(xiàn)這種趨勢(shì)的原因在于相關(guān)技術(shù)已經(jīng)達(dá)到了一定的成熟度，而且這種成熟度是和新聞媒體的要求很好的匹配在了一起。在卡斯韋爾的「結(jié)構(gòu)化故事」系統(tǒng)中，所謂的「故事」完全不是個(gè)故事，而是一個(gè)信息網(wǎng)，我們可以像對(duì)待文案、信息圖表或者其它表達(dá)形式一樣去組裝它，閱讀它，就像我們擺弄音樂(lè)音符一樣。任何一類(lèi)信息——從法院報(bào)道到天氣預(yù)報(bào)——都能夠最終能放入到這個(gè)數(shù)據(jù)庫(kù)中。這樣的系統(tǒng)的潛力是巨大的。

「大多數(shù)自然語(yǔ)言系統(tǒng)都是在簡(jiǎn)單地描述一個(gè)事件。但是大多數(shù)新聞都是描繪性的，甚至是事件驅(qū)動(dòng)的」來(lái)自密蘇里大學(xué) Donald W Reynolds 新聞機(jī)構(gòu)的大衛(wèi)·卡斯韋爾說(shuō)。「事件們?cè)诓煌牡攸c(diǎn)發(fā)生，這些事件之間的因果關(guān)系是這些事件的核心敘述結(jié)構(gòu)。」需要把它們放到古老的新聞術(shù)語(yǔ)中：誰(shuí)，發(fā)生了什么，在哪里，什么時(shí)候。

根據(jù) Donald W Reynolds 的說(shuō)法，人工智能系統(tǒng)在進(jìn)行新聞創(chuàng)作時(shí)需要解決非常多的技術(shù)難題，包括自然語(yǔ)言處理中的自動(dòng)摘要、文本分類(lèi)等，還有知識(shí)庫(kù)和知識(shí)發(fā)現(xiàn)（KDD）等相關(guān)技術(shù)，比如實(shí)體定義、關(guān)系抽取、問(wèn)答系統(tǒng)等。簡(jiǎn)單來(lái)說(shuō)，就是機(jī)器首先需要理解自然語(yǔ)言，然后通過(guò)知識(shí)管理弄明白新聞中各個(gè)要素（各類(lèi)知識(shí)）之間的關(guān)系。

自然處理技術(shù)所有信息密集型處理過(guò)程的核心，也是今年以來(lái)谷歌、Facebook 和微軟等科技巨頭都最為重視的研究方向，在剛剛結(jié)束的語(yǔ)言學(xué)頂級(jí)會(huì)議 ACL 上，他們也都發(fā)表了眾多重磅論文。谷歌開(kāi)源了SyntaxNet，將神經(jīng)網(wǎng)絡(luò)和搜索技術(shù)結(jié)合起來(lái)，在解決歧義問(wèn)題上取得顯著進(jìn)展——能像訓(xùn)練有素的語(yǔ)言學(xué)家一樣分析簡(jiǎn)單句法；Facebook 推出了文本理解引擎 DeepText ，每秒能理解幾千篇博文內(nèi)容，語(yǔ)言種類(lèi)多達(dá) 20 多種，準(zhǔn)確度近似人類(lèi)水平。

其中，閱讀和理解人類(lèi)語(yǔ)言對(duì)機(jī)器來(lái)說(shuō)是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，這需要對(duì)自然語(yǔ)言的理解以及根據(jù)多種線(xiàn)索推理的能力。閱讀理解是現(xiàn)實(shí)世界中的一個(gè)普通問(wèn)題，其目的是閱讀和理解給定的文章或語(yǔ)境，并基于此回答問(wèn)題。在多種類(lèi)型的閱讀理解問(wèn)題中，完形填空式的查詢(xún)是基礎(chǔ)的一類(lèi)，并且也已經(jīng)變成了解決機(jī)器理解問(wèn)題的起點(diǎn)。與普通的閱讀理解問(wèn)題類(lèi)似，完形填空式的查詢(xún)（Taylor, 1953）是基于文檔的本質(zhì)提出的，盡管其答案是文檔內(nèi)部的單個(gè)詞。

為了教會(huì)機(jī)器完成完形填空式的閱讀理解，需要學(xué)習(xí)給定文檔和查詢(xún)之間的關(guān)系，因此必須要大規(guī)模的訓(xùn)練數(shù)據(jù)集。通過(guò)采用基于注意（attention）的神經(jīng)網(wǎng)絡(luò)方法（Bahdanau et al.,2014），機(jī)器可以學(xué)習(xí)大規(guī)模訓(xùn)練數(shù)據(jù)中的這些模式。為了創(chuàng)造大規(guī)模訓(xùn)練數(shù)據(jù)，Hermann et al. (2015) 發(fā)布了用于完形填空式的閱讀理解的 CNN/Daily Mail 新聞?wù)Z料庫(kù)，其中的內(nèi)容由新聞文章及其摘要構(gòu)成。之后 Hill et al.（2015）發(fā)布了 Children’s Book Test （CBT：兒童圖書(shū)測(cè)試）數(shù)據(jù)集，其中的訓(xùn)練樣本是通過(guò)自動(dòng)化的方式生成的。此外，Cui et al.（2016）也發(fā)布了用于未來(lái)研究的漢語(yǔ)閱讀理解數(shù)據(jù)集。正如我們所見(jiàn)，自動(dòng)生成用于神經(jīng)網(wǎng)絡(luò)的大規(guī)模訓(xùn)練數(shù)據(jù)對(duì)閱讀理解來(lái)說(shuō)是至關(guān)重要的。此外，語(yǔ)境的推理和總結(jié)等更復(fù)雜的問(wèn)題需要遠(yuǎn)遠(yuǎn)更多的數(shù)據(jù)才能學(xué)會(huì)更高水平的交互。

今年六月份，人工智能創(chuàng)業(yè)公司 Maluuba 公司發(fā)表了一篇關(guān)于機(jī)器理解的論文，提出了目前最先進(jìn)的機(jī)器閱讀理解系統(tǒng) EpiReader ，該模型在 CNN 和童書(shū)測(cè)試（CBT）兩個(gè)數(shù)據(jù)集上的成績(jī)都超過(guò)了谷歌 DeepMind 、Facebook 和 IBM 。EpiReader 采取兩個(gè)步驟來(lái)確定問(wèn)題答案。第一步(Extractor), 我們使用了一個(gè)雙向 GPU 逐字閱讀故事和問(wèn)題，接著采用一種類(lèi)似 Pointer Network 中的 Attention 機(jī)制在故事中挑選出可能作為答案?jìng)溥x的單詞。第二步( Reasoner )，這些備選答案被插入「完型填空」式的問(wèn)題中，構(gòu)成一些「假設(shè)」，接著卷積神經(jīng)網(wǎng)絡(luò)會(huì)將每個(gè)假設(shè)與故事中的每個(gè)句子加以比較，尋找文本蘊(yùn)涵( Textual Entailment )關(guān)系。簡(jiǎn)單來(lái)說(shuō), 蘊(yùn)涵是指，兩個(gè)陳述具有很強(qiáng)的相關(guān)性。因此，最近似故事假設(shè)的蘊(yùn)涵得分最高。最后，將蘊(yùn)涵得分與第一步得到的分?jǐn)?shù)相結(jié)合，給出每一個(gè)備選答案正確的概率。

國(guó)內(nèi)的哈工大訊飛實(shí)驗(yàn)室也提出了一種用于完形填空式閱讀理解任務(wù)的全新模型，這被稱(chēng)為 attention-over-attention（注意之上的注意）閱讀器。我們模型的目標(biāo)是在文檔級(jí)的注意之上放置另一種注意機(jī)制（attention mechanism），并誘導(dǎo)出「attended attention（集中注意）」以用于最后的預(yù)測(cè)。和之前的成果不同的是：我們的神經(jīng)網(wǎng)絡(luò)模型只需要更少預(yù)定義的超參數(shù)，并且可以使用一種簡(jiǎn)潔的架構(gòu)進(jìn)行建模。實(shí)驗(yàn)結(jié)果表明我們提出的 attention-over-attention 模型在大量公共數(shù)據(jù)集中都顯著優(yōu)于當(dāng)前許多最佳的系統(tǒng)，例如 CNN 和「（Children’s Book Test）兒童圖書(shū)測(cè)試」數(shù)據(jù)集。

CMU 的 Mrinmaya Sachan 和邢波在 ACL 2016 上發(fā)表論文《用豐富的語(yǔ)義表征來(lái)實(shí)現(xiàn)機(jī)器理解》，通過(guò)用如指代和修辭結(jié)構(gòu)這種跨句現(xiàn)象來(lái)合并組成句子的 AMR，從而為給出的文本和每個(gè)問(wèn)答對(duì)建構(gòu)意義表征圖（meaning representation graph）。然后將機(jī)器理解降格成為了一個(gè)圖包含問(wèn)題（graph containment problem）。假定問(wèn)答含義表征圖（question-answer meaning representation graph ）和文本含義表征圖（text meaning representation graph ）之間存在一個(gè)隱含的映射，該映射能夠解釋該答案。他們提出了一個(gè)統(tǒng)一的最大邊緣框架，它能學(xué)習(xí)發(fā)現(xiàn)這個(gè)映射（給定一個(gè)文本語(yǔ)料庫(kù)和問(wèn)答對(duì)），并使用它學(xué)到的來(lái)回答關(guān)于新文本的問(wèn)題。他們發(fā)現(xiàn)這個(gè)方法是目前完成這類(lèi)任務(wù)的最好方法。

在知識(shí)庫(kù)方面，谷歌自然語(yǔ)言處理技術(shù)專(zhuān)家 Enrique Alfonseca 認(rèn)為，挑戰(zhàn)包括知識(shí)庫(kù)的實(shí)體解析和一致性問(wèn)題。兩年前，谷歌的一些員工發(fā)布了一個(gè)實(shí)體解析注釋的超大文集，這個(gè)大的網(wǎng)絡(luò)文集包括對(duì) Freebase 主題的110億次引用，它是由世界上研究信息提取的研究人員開(kāi)發(fā)的。知識(shí)集指的是真實(shí)世界（或者虛擬世界）的結(jié)構(gòu)化信息，在許多其他應(yīng)用中，人們能夠?qū)ξ淖诌M(jìn)行語(yǔ)言分析。這些一般包括主題（概念和實(shí)體）、屬性、關(guān)系、類(lèi)型層次、推理規(guī)則、知識(shí)表征和人工、自動(dòng)知識(shí)獲取的研究進(jìn)行了許多年，但是這些都是遠(yuǎn)未解決的難題。

CMU 的 Sujay Kumar Jauhar 認(rèn)為，問(wèn)答需要一個(gè)知識(shí)庫(kù)來(lái)檢查事實(shí)和推理信息。自然語(yǔ)言文本形式的知識(shí)學(xué)習(xí)起來(lái)比較簡(jiǎn)單，但是自動(dòng)推理很難。高度結(jié)構(gòu)化的知識(shí)庫(kù)能讓推理變得容易一些，但是學(xué)習(xí)起來(lái)又難了。他們?cè)诮?ACL 上發(fā)表論文，探討了半結(jié)構(gòu)形式主義（semi-structured formalism ）的表來(lái)平衡這兩種情況。

而上文提到的Xiaomingbot的主人今日頭條實(shí)驗(yàn)室近期也在這方面取得進(jìn)展——通過(guò)深度學(xué)習(xí)和知識(shí)庫(kù)的結(jié)合來(lái)解決知識(shí)類(lèi)問(wèn)答問(wèn)題。今日頭條實(shí)驗(yàn)室科學(xué)家李磊博士表示，知識(shí)在知識(shí)庫(kù)里表達(dá)成三元組形式的結(jié)構(gòu)化信息，系統(tǒng)要做的事情是問(wèn)了這個(gè)自然語(yǔ)言問(wèn)題后，從知識(shí)庫(kù)里找出這樣的答案。這個(gè)問(wèn)題的難度在于：

1）知識(shí)庫(kù)非常大，從海量數(shù)據(jù)中找出答案是非常困難的；

2）自然語(yǔ)言問(wèn)題本身比較復(fù)雜，因?yàn)橛卸喾N問(wèn)法和表達(dá)方式；

3）訓(xùn)練數(shù)據(jù)非常有限。

而今日頭條實(shí)驗(yàn)室提出的深度學(xué)習(xí)加上知識(shí)庫(kù)的CFO方法是，首先觀察到需要把自然語(yǔ)言問(wèn)題表達(dá)成結(jié)構(gòu)化 query ，把這個(gè)結(jié)構(gòu)化 query 里的條件信息從問(wèn)題里找出來(lái)。和傳統(tǒng)方法不同，CFO 通過(guò)神經(jīng)網(wǎng)絡(luò)用了一個(gè) Stacked Bidirectional GRU ，它是一個(gè)上下疊加起來(lái)的多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)，通過(guò)這個(gè)模型去計(jì)算出問(wèn)題中的實(shí)體以及實(shí)體之間的關(guān)系，之后就是構(gòu)建結(jié)構(gòu)化的查詢(xún)語(yǔ)句以及從知識(shí)庫(kù)里尋找答案。在測(cè)試結(jié)果上，準(zhǔn)確率超過(guò)了微軟和 Facebook。

這些在自然語(yǔ)言處理、知識(shí)庫(kù)方面最新的研究進(jìn)展將會(huì)傳導(dǎo)到人工智能在新聞?lì)I(lǐng)域的應(yīng)用，就像今日頭條此前所做的智能推薦一樣，通過(guò)每天觀察數(shù)千萬(wàn)用戶(hù)的刷新，點(diǎn)擊，搜索，收藏，評(píng)論的行為，不斷加強(qiáng)對(duì)用戶(hù)興趣偏好的理解，從而能夠不斷提高推薦的準(zhǔn)確性，成為在資訊推薦領(lǐng)域的人工智能。希望靠算法連接內(nèi)容創(chuàng)作者和消費(fèi)者。而現(xiàn)在，技術(shù)的進(jìn)步將使這個(gè)邊界獲得再次延伸。就像今日頭條創(chuàng)始人兼 CEO 張一鳴預(yù)言的那樣，未來(lái)人工智能演化的第一階段首先是在各個(gè)垂直領(lǐng)域誕生若干超級(jí)智能，比如資訊推薦領(lǐng)域的今日頭條，健康和知識(shí)問(wèn)答領(lǐng)域的沃森，圍棋領(lǐng)域的 AlphaGo 。這些垂直超級(jí)智能可以在特定領(lǐng)域內(nèi)展現(xiàn)出遠(yuǎn)超人類(lèi)的能力，但是在擅長(zhǎng)領(lǐng)域之外沒(méi)有任何作為。不過(guò)，他們將為誕生在所有領(lǐng)域內(nèi)都具備超人能力的終極智能打下基礎(chǔ)。

而越來(lái)越多的機(jī)器人創(chuàng)作將成為媒體領(lǐng)域超級(jí)智能的開(kāi)始，目前 Xiaomingbot 的資訊生成部分即實(shí)時(shí)文本生成研究是今日頭條同北大計(jì)算機(jī)所萬(wàn)小軍教授團(tuán)隊(duì)合作，用于問(wèn)答系統(tǒng)的 CFO 也將應(yīng)用在今日頭條的其他媒體產(chǎn)品中。李磊表示，今日頭條有個(gè)產(chǎn)品叫「頭條問(wèn)答」，我們希望對(duì)于一些簡(jiǎn)單的問(wèn)題和事實(shí)類(lèi)的問(wèn)題可以通過(guò)自動(dòng)回答的方式去解決，這樣就可以節(jié)省專(zhuān)家人力。

Xiaomingbot、CFO 只是頭條實(shí)驗(yàn)室眾多研究布局中的階段性成果，后者旨在推動(dòng)人工智能技術(shù)研究，讓算法更好地理解文字、圖片、視頻、環(huán)境場(chǎng)景和用戶(hù)興趣，從而促進(jìn)人類(lèi)信息與知識(shí)交流的效率和深度。今日頭條不僅僅是新聞客戶(hù)端，是一款基于機(jī)器學(xué)習(xí)的個(gè)性化資訊推薦引擎，是所有信息、內(nèi)容分享創(chuàng)作的平臺(tái)。人工智能和機(jī)器學(xué)習(xí)的算法起到了重要作用，能夠幫助高效精準(zhǔn)地把用戶(hù)感興趣的內(nèi)容推薦出去。今日頭條的內(nèi)容平臺(tái)對(duì)應(yīng)著雙邊用戶(hù)：一邊是內(nèi)容的創(chuàng)作者，另一邊是內(nèi)容的消費(fèi)者。所以為了把最好的內(nèi)容推薦給最需要的讀者，就需要機(jī)器學(xué)習(xí)的技術(shù)。

今日頭條等公司對(duì)人工智能技術(shù)在研發(fā)和應(yīng)用上的加碼，讓我們看到了人工智能在未來(lái)對(duì)媒體業(yè)造成的巨大影響。《淺薄》中提到，互聯(lián)網(wǎng)作為一種智力工具，在給我們帶來(lái)便利的同時(shí)也在重塑著我們的思維方式。隨之而來(lái)的問(wèn)題是，互聯(lián)網(wǎng)這種媒介傳遞的信息越多，我們想找到優(yōu)質(zhì)或者自己所需信息的難度也就越大。而這正是人工智能的優(yōu)勢(shì)所在，它可以讓大數(shù)據(jù)從負(fù)擔(dān)變成便利，會(huì)重塑媒體的內(nèi)容生產(chǎn)和分發(fā)。

在采用 Wordsmith 之前，美聯(lián)社需撰寫(xiě)約 300 家公司的財(cái)報(bào)文章，可想而知這并不是個(gè)輕松的工作量。在使用機(jī)器人 Wordsmith 之后，美聯(lián)社每季度可以出 3000 家公司財(cái)報(bào)，雖然其中仍有 120 篇需要人力更新或添加獨(dú)立的后續(xù)報(bào)道，但顯然它替人類(lèi)編輯承擔(dān)了絕大部分的工作量。

在哥倫比亞大學(xué)慶祝普利策獎(jiǎng)?wù)Q生一百年之際，智能機(jī)器人也將在財(cái)經(jīng)報(bào)道、體育實(shí)況報(bào)道、騙點(diǎn)擊的標(biāo)題黨新聞（clickbait）以及其它原本只有受過(guò)訓(xùn)練的記者才能報(bào)導(dǎo)的領(lǐng)域開(kāi)始一展身手。「總有一天，機(jī)器人會(huì)贏得普利策獎(jiǎng)」，來(lái)自 Narrative Science 的 Kris Hammond 如此預(yù)測(cè)。這家公司專(zhuān)注于「自然語(yǔ)言生成」?！肝覀兡苤v述隱藏在數(shù)據(jù)中的故事?！棺罱倪M(jìn)步味著，人工智能現(xiàn)在能夠撰寫(xiě)出具有可讀性的流暢文字，并且還能比亢奮的寫(xiě)手更快地大量炮制模板型文章?！赣辛俗詣?dòng)化，我們現(xiàn)在能為 4,000 家公司追蹤、 撰寫(xiě)季度收益報(bào)告，」來(lái)自世界第一個(gè)也是迄今為止唯一個(gè)使用自動(dòng)化編輯的通訊社——美通社的賈斯汀· 邁爾斯說(shuō)，「以前我們只能做到 400 家?！?/span>

而對(duì)于機(jī)器人能否拿普利策新聞獎(jiǎng)這個(gè)問(wèn)題，邁爾斯也「絕對(duì)相信」——因?yàn)闄C(jī)器人已經(jīng)做到了。Bill Dedman 因一篇抵押貸款中存在種族主義問(wèn)題的調(diào)查報(bào)道，而獲得了普利策獎(jiǎng)。這篇報(bào)道雖然發(fā)表于 1988 年，卻是由電腦協(xié)助寫(xiě)作成的。

自動(dòng)化新聞不僅僅具有數(shù)量?jī)?yōu)勢(shì)，還有助于定位客戶(hù)需求——通過(guò)用戶(hù)畫(huà)像、情感分析等技術(shù)為用戶(hù)提供個(gè)性化內(nèi)容，或者對(duì)于智能對(duì)話(huà)系統(tǒng)與用戶(hù)進(jìn)行交互。

隨著人工智能技術(shù)在新聞?lì)I(lǐng)域的參與程度越來(lái)越高，對(duì)于人工智能技術(shù)是否造成失業(yè)問(wèn)題的爭(zhēng)論也愈演愈烈。牛津大學(xué)此前發(fā)布了一篇報(bào)告稱(chēng)，目前 47% 的工作崗位將最終被自動(dòng)化。但對(duì)此的批評(píng)意見(jiàn)認(rèn)為，工作被取代，并不意味著勞動(dòng)者將失去工作，正如曾經(jīng)汽車(chē)的出現(xiàn)取代了許許多多的馬車(chē)夫和馬童，但同時(shí)創(chuàng)造了更多修建高速公路和服務(wù)加油站的工作。

對(duì)于媒體領(lǐng)域來(lái)說(shuō)同樣如此，機(jī)器人負(fù)責(zé)這項(xiàng)單調(diào)而又乏味的工作就能把記者們解放出來(lái)，讓他們追求一些需深度思考的報(bào)道，同時(shí)機(jī)器人也可以將消費(fèi)者從海量信息中解放出來(lái)，提高他們獲取信息和知識(shí)的效果和效率，而這就是人工智能對(duì)媒體的最重要影響。不久的未來(lái)，我們將看到人工智能作為工具在新聞產(chǎn)業(yè)產(chǎn)出發(fā)揮重要的作用。