主要從以下三點(diǎn)展開講解：

• 演繹推理與統(tǒng)計(jì)推斷
• 多模態(tài)推理分析
• 跨模態(tài)推理分析

分享嘉賓｜張小旺 天津大學(xué) 教授

編輯整理｜潘晨輝 沈陽工業(yè)大學(xué)

出品社區(qū)｜DataFun

01

前言

1. 人工智能發(fā)展路線

人工智能的發(fā)展需要經(jīng)歷四個(gè)階段，分別是計(jì)算、感知、認(rèn)知和意識(shí)。早期，以離散符號(hào)計(jì)算為主。從深度學(xué)習(xí)開始，模態(tài)語義提取，尤其是圖像、文本和語音的技術(shù)得到了快速發(fā)展。近幾年，主要關(guān)注文本理解，圖像推理，復(fù)雜語義上的情感識(shí)別，目前集中在模態(tài)語義分析層面。這一層面相比深度學(xué)習(xí)，知識(shí)圖譜非常重要，知識(shí)圖譜可以顯性表示知識(shí)，而不僅僅是向量。這樣有助于人工地把經(jīng)驗(yàn)嵌入進(jìn)去，也有利于人工對(duì)機(jī)器學(xué)習(xí)語義分析的知識(shí)化。

2. 認(rèn)知智能發(fā)展

推理在語義層面為語義蘊(yùn)含。語義蘊(yùn)含在邏輯上是對(duì)于語義的弱化，將顯性的語義，對(duì)人類活動(dòng)或者人類的行為映射。上邊圖片舉了一個(gè)福字的例子，在中國(guó)傳統(tǒng)文化里面，福字就是幸福和福氣的意思，紅色代表火熱和吉祥，把兩個(gè)語義進(jìn)行融合，就有了福字，代表著既吉祥又幸福。常用于春聯(lián)，又有一些企業(yè)用作商標(biāo)。這就相當(dāng)于示意的過程，以及推理的實(shí)用過程。認(rèn)知智能賦予機(jī)器理解與模擬人的能力，實(shí)現(xiàn)記憶、學(xué)習(xí)、分析、理解、推理、判斷，進(jìn)而制定和智能決策的過程。

3. 認(rèn)知智能到多模態(tài)

人的認(rèn)知是基于多元感知的。自然語言處理，只是在單純模態(tài)上面做語義分析，在應(yīng)對(duì)復(fù)雜的認(rèn)知和活動(dòng)的時(shí)候，有一定瓶頸，所以需要做一個(gè)跨模態(tài)語義分析，以跨模態(tài)語義分析為基礎(chǔ)的認(rèn)知技術(shù)，是當(dāng)下企業(yè)和學(xué)術(shù)界非常關(guān)注的課題。目前需要解決以下幾大問題：

• 大數(shù)據(jù)多源異構(gòu)性
• 語義的多模態(tài)特性
• 高級(jí)認(rèn)知的復(fù)雜性

有一個(gè)非常有意思的問題，既然講高級(jí)認(rèn)知中，有一個(gè)非常重要的任務(wù)就是推理，是不做語義的蘊(yùn)含，那么符號(hào)主義和連接主義，也就是人工智能兩大學(xué)派，最頂層的融合，推理會(huì)不會(huì)成為一個(gè)技術(shù)突破口。接下來也將圍繞此問題進(jìn)行介紹。

--

02

演繹推理與統(tǒng)計(jì)推斷

首先介紹演繹推理和統(tǒng)計(jì)推斷，這是經(jīng)典的語義蘊(yùn)含推理，下面主要介紹演繹推理和歸納推理。

1. 演繹推理

演繹推理是從頂向下，從整體到個(gè)體，從共性到個(gè)性，從知識(shí)到事實(shí)的方式。早期的專家系統(tǒng)也是基于此，專家定義規(guī)則，然后從數(shù)據(jù)里面讀入事實(shí)，利用規(guī)則進(jìn)行推導(dǎo)，像數(shù)學(xué)證明一樣，最后推出事實(shí)。

例如本體回答系統(tǒng)，就是從本體上面用事實(shí)回答事實(shí)。這些事實(shí)就是對(duì)應(yīng)知識(shí)圖譜的實(shí)體，比如判斷個(gè)體是否屬于某種類型，相當(dāng)于做第一學(xué)習(xí)分類，不過是用推理實(shí)現(xiàn)的，又比如判斷兩個(gè)實(shí)體之間是否存在關(guān)系，相當(dāng)于關(guān)系抽取，也是可以通過推理實(shí)現(xiàn)的。比如用 Prolog，是自然演繹傳統(tǒng)的邏輯，形式化推導(dǎo)過程。

歸約原理就是將推理問題歸約可滿足性問題，即SAT問題變成一些可滿足性問題，是比較常見的一種邏輯的證明方式。

還有一種就是表演算，也就是可以構(gòu)建森林，通過森林中樹上的一些性質(zhì)，能夠判斷知識(shí)庫是否是可滿足的，以此來判斷其蘊(yùn)含關(guān)系。

上圖是一個(gè)表演算的例子，w，x，y 為實(shí)體，S，R 為兩個(gè)實(shí)體之間的關(guān)系。與知識(shí)圖譜不同的是把實(shí)體上都定義了類，利用實(shí)體描述這些類，但是這些類是復(fù)雜的，所以要通過每步進(jìn)行增長(zhǎng)，把這些復(fù)雜的類變成原子型的類，再通過原子 a 來判斷概念是否滿足。這是一個(gè)比較復(fù)雜的過程，10 年以前，語義網(wǎng)中的表演算研究非常流行，例如，牛津大學(xué)做了很多大量的非常著名的本地推理系統(tǒng)，并不是利用規(guī)則，而是利用樹上的擴(kuò)張，就是 Span Tree 的過程，復(fù)雜度和基于規(guī)則差不多。

2. 歸納推理

歸納推理和演繹推理不同，它和傳統(tǒng)的統(tǒng)計(jì)分析和統(tǒng)計(jì)推斷是一樣的思路，即從個(gè)體到整體，從個(gè)性到共性，從數(shù)據(jù)當(dāng)中獲取經(jīng)驗(yàn)知識(shí)的這種方式和知識(shí)圖譜構(gòu)建的思路是一脈相承的。比如事實(shí)，兩個(gè)種類的鯨，都可以噴射水柱狀的水，接下來觀察發(fā)現(xiàn)，通過詞性可以歸類，鯨魚都是可以噴射水柱狀的水?？梢宰骱?jiǎn)單猜想，認(rèn)為齒鯨是一種鯨魚，那么齒鯨是可以噴射水柱的。前面兩部分是歸納推理，后面部分是類比推理。

還有一種稍微復(fù)雜的情況，表示一個(gè)非線性的過程?？梢砸腭R爾可夫邏輯網(wǎng)，馬爾可夫邏輯網(wǎng)不僅在網(wǎng)絡(luò)中使用，在自然語言處理中也經(jīng)常使用。從形式化表達(dá)來看，就是一些規(guī)則，比如實(shí)數(shù)，還有事實(shí)集，和知識(shí)圖譜一樣的事實(shí)層面。比如 A 是開設(shè)一個(gè)類型，A 和 B 之間有某種關(guān)系。通過圖上公式計(jì)算某一個(gè)點(diǎn)的概率 P(U)，通過下面的公式來計(jì)算：

計(jì)算 L(U)，也就是就單個(gè) U 的值，通過以下公式：

這是一個(gè)可能的事件，綠色代表第一個(gè)規(guī)則被滿足了兩次，藍(lán)色表示第二個(gè)規(guī)則也被滿足兩次。推理問題如果一個(gè)人得了癌癥，B 得癌癥的概率多大。

有兩種情況，W 表示權(quán)重 1.5 和 1.1，n1 和 n2 分別表示規(guī)則 1 和規(guī)則 2。如果滿足第一種情況，表示滿足一次，因?yàn)?Cancer（B） 為 0，當(dāng) Cancer（B） 為 1 的時(shí)候正好是第二種情況，其他的規(guī)則都一樣。計(jì)算以后發(fā)現(xiàn)，第二種情況 L 結(jié)果為 5.2，比較大，所以更可能患癌。這就是簡(jiǎn)單的馬爾可夫邏輯網(wǎng)來表示推理。

演繹推理具有可靠的完備性，推理過程可表示、可回溯，邏輯可解釋性?？煽客陚湫栽斐赏评泶鷥r(jià)高（往往是 NP 難），效率低。其實(shí)大部分算法都是可靠的，但是在推理當(dāng)中還要關(guān)注完備性，即推不出來的結(jié)果肯定是不正確的，也就是只要正確的結(jié)果都能推出。可靠和完備是推理的兩個(gè)方向。語義的豐富完備很重要。

歸納推理具有不確定的語義、效率高、實(shí)用場(chǎng)景廣，推理完備可靠性不高，邏輯可解釋性差。

其它推理，比如類比推理，是個(gè)體到個(gè)體的推理；非單調(diào)推理，是不完全語義下的推理；朔因推理，是從推理結(jié)果到推理過程。

--

03

多模態(tài)推理分析

關(guān)于多模態(tài)推理分析，主要介紹知識(shí)圖譜推理、文本理解和圖像視頻推理三個(gè)方面。

1. 知識(shí)圖譜推理

本體是什么？本體就是對(duì)于真實(shí)世界的刻畫，在構(gòu)建知識(shí)圖譜之前，需要定義本體，就是對(duì)事實(shí)的解釋。知識(shí)圖譜和復(fù)雜網(wǎng)絡(luò)最大的區(qū)別，不僅僅是有標(biāo)簽，標(biāo)簽有一定的屬性，但這個(gè)屬性一定是有解釋的，如果沒有解釋的就是復(fù)雜網(wǎng)絡(luò)，有沒有本體就是知識(shí)圖譜和復(fù)雜網(wǎng)絡(luò)最大的區(qū)別。

傳統(tǒng)的表演算的方法，沒有從數(shù)據(jù)庫角度來考慮。推理比查詢要復(fù)雜，查詢是在有限的數(shù)據(jù)模型上進(jìn)行，而且是單一的，但是推理是在無限大的模型上進(jìn)行查詢。第一件事就是把標(biāo)準(zhǔn)模型進(jìn)行有限的物化，物化過后計(jì)算速度是知識(shí)圖譜的線性倍數(shù)。邏輯證明它是可靠完備的推理，歸約成一個(gè)查詢問題。

結(jié)果顯示，[1] 的預(yù)處理速度平均提高了 7 倍，最快的能夠提升三個(gè)數(shù)量級(jí)。

知識(shí)圖譜路徑推理是通過連接實(shí)體之間已有路徑，來預(yù)測(cè)實(shí)體之間的潛在關(guān)系，關(guān)系路徑更清晰，融入到知識(shí)圖譜嵌入表示當(dāng)中，之后進(jìn)一步將關(guān)系路徑信息融合來提升推理的效果。

在這種情況下，知識(shí)圖譜推理流程，通常以知識(shí)圖譜作為輸入，對(duì)實(shí)體的已有路徑關(guān)系進(jìn)行推理。得到表示實(shí)體之間的潛在規(guī)則，從嚴(yán)格意義上講，這個(gè)過程并不是推理，只是路徑的查詢 [2]。

近三年內(nèi)研究發(fā)現(xiàn)，規(guī)則學(xué)習(xí) [3] 有助于自動(dòng)的學(xué)習(xí)專家系統(tǒng)。知識(shí)圖譜不僅僅是一個(gè)圖形的結(jié)構(gòu)，還可以表示規(guī)則的概念層次。比如，一個(gè)人出生在城市 y，國(guó)家 z，那么這個(gè)人就是 z 國(guó)的公民。規(guī)則學(xué)習(xí)就是對(duì)概念知識(shí)層的規(guī)則進(jìn)行挖掘?qū)W習(xí)。在過去的幾年時(shí)間，開發(fā)出了很多高效的學(xué)習(xí)系統(tǒng)，比如 RDF2rules、SWARM 等等。但是它們的優(yōu)缺點(diǎn)很明顯，比如對(duì)封閉路徑規(guī)則的學(xué)習(xí)，表達(dá)能力是可以的，但是效率一直很低。

可以觀察一下 2018 的工作 [4]，對(duì)效率有很好的提升，實(shí)驗(yàn)結(jié)果在性能上和表達(dá)性都有大大的提升。

輸入知識(shí)圖譜，目標(biāo)謂詞和最大規(guī)則的長(zhǎng)度，然后返回一組 CP 規(guī)則。CP 規(guī)則頭部是合群，返回關(guān)系，中間每一個(gè)位置之間都有共享的邊量。在挖掘過程中要固定規(guī)則，并且借助 Embedding 的表示這樣效果更快。

另一個(gè)知識(shí)圖譜中代表性的工作是事理圖譜。事理圖譜是一種有向圖形式的事理知識(shí)庫，用于揭示事件與事件之間的演化規(guī)律和模式。結(jié)構(gòu)上是有向的環(huán)圖，節(jié)點(diǎn)表示事件，有向邊代表事件的 4 種關(guān)系順承、因果、條件和上下位關(guān)系，本質(zhì)上事理圖譜是事理邏輯知識(shí)庫，描述事件之間的演化規(guī)律和模式，主要是做推理方向和路徑查詢。知識(shí)圖譜邏輯層面語義表達(dá)能力并沒有增加，把順承、因果、條件上下位關(guān)系，嵌進(jìn)去作為關(guān)系，對(duì)每一個(gè)點(diǎn)的事件，用屬性圖的形式表示。如右圖所示。

這是事理圖譜構(gòu)建技術(shù)介紹，包括事件抽取、事件關(guān)系抽取和事件知識(shí)融合。事件抽取中從原始數(shù)據(jù)中抽取事件，相對(duì)容易一些。事件融合和傳統(tǒng)的知識(shí)圖譜融合是不一樣的，最大的問題就是關(guān)系層面融合，不只是對(duì)齊的過程。

事理圖譜的應(yīng)用場(chǎng)景：熱點(diǎn)事件檢測(cè)、事件脈絡(luò)分析、未來事件預(yù)測(cè)。

2. 文本理解

在文本理解中，神經(jīng)網(wǎng)絡(luò)模型已經(jīng)取得矚目的效果，但無法對(duì)輸出結(jié)果給出合理的解釋。其次，在很多自然語言任務(wù)中（比如問答），除了對(duì)輸入文本進(jìn)行理解，還需要一定的外部知識(shí)，這就要求模型具備推理能力。

文本理解推理系統(tǒng) [5] 由知識(shí)和推理引擎兩部分組成。通過知識(shí)中獲取，推理推導(dǎo)，完成工作，這就是輸入和返回答案的過程。

3. 圖像視頻推理

圖像視頻推理 [6] 就是在目標(biāo)檢測(cè)任務(wù)當(dāng)中，利用物體與物體和場(chǎng)景與物體之間的關(guān)系進(jìn)行建模，推理預(yù)測(cè)未知的物體類別。可以對(duì)圖像目標(biāo)，進(jìn)行更加準(zhǔn)確的預(yù)測(cè)，比如左側(cè)圖當(dāng)中的一個(gè)小鼠標(biāo)，右圖中河中的汽車，出現(xiàn)了一些誤解。

通過目標(biāo)檢測(cè)可以得到一些信息。比如這里可以獲取姚明的人物信息以及背景信息，將這些信息和知識(shí)圖譜信息進(jìn)行關(guān)聯(lián)，從推理圖片的人物關(guān)系，就知道姚明和麥迪之間的關(guān)系。

在視頻當(dāng)中推理，通過構(gòu)建本地知識(shí)圖庫，提取跨視頻段關(guān)聯(lián)信息，對(duì)視頻內(nèi)容進(jìn)行準(zhǔn)確描述。比如，一個(gè)場(chǎng)景是姚明在天安門，另外一個(gè)場(chǎng)景是姚明和麥迪在逛街，如圖所示，我們可以推理出麥迪的信息位置。計(jì)算機(jī)在這個(gè)圖像和視頻當(dāng)中，不僅僅做到內(nèi)部的邏輯推理，還可以根據(jù)已有的信息，進(jìn)行信息外延，達(dá)到較好水平的認(rèn)知。

--

04

跨模態(tài)推理分析

1. 因果推斷+文本理解

文本理解推理 [7] 是使用文本數(shù)據(jù)進(jìn)行因果推理，但文本是高維的且需要復(fù)雜的建模來度量語義是否有意義，因此需要形式化因果問題所對(duì)應(yīng)的干預(yù)。NLP 改進(jìn)了預(yù)訓(xùn)練語言模型和監(jiān)督主題模型來預(yù)測(cè)文本?？紤]兩種場(chǎng)景，第一個(gè)就是干預(yù)變量和結(jié)果都受到一些混雜因素的影響，比如評(píng)估在一篇論文中添加一個(gè)定理對(duì)該論文是否在計(jì)算機(jī)科學(xué)會(huì)議上被接受的影響，會(huì)受到論文主題、寫作質(zhì)量等混雜干擾。第二個(gè)場(chǎng)景是，比如考慮帖子的瀏覽量是否會(huì)受到作者性別的影響被同樣受作者性別影響的語氣、風(fēng)格或主題等中介干擾。

定位成條件文本生成，并微調(diào)做一個(gè)生成器，為考慮這個(gè)目標(biāo)，設(shè)計(jì)否定和刪除等控制的規(guī)則，采用填空結(jié)構(gòu)指定擾動(dòng)發(fā)生在哪里以及如何發(fā)生，最終就生成出需要的反事實(shí)的樣子。

左邊圖并非是反事實(shí)的樣例，因此不受 x 環(huán)境干預(yù)，而對(duì)生成的文本表示階段進(jìn)行干預(yù)，影響 x 的兩個(gè)屬性都屬于這個(gè)概念。右邊這個(gè)圖采用 MLM 和 NSP 進(jìn)行預(yù)訓(xùn)練。

2. 一致性對(duì)話

一致性對(duì)話是自然語言處理當(dāng)中非常重要的，但是一致性對(duì)話主要是體現(xiàn)對(duì)話的邏輯沖突性，對(duì)話固有的屬性是阻礙生成一致性對(duì)話的重要原因。

為了更好的使模型能夠理解會(huì)話的一致性，最簡(jiǎn)單的方法就構(gòu)建數(shù)據(jù)集，如下圖是一個(gè)對(duì)人物畫像構(gòu)建的數(shù)據(jù)集。這個(gè)人物主要是會(huì)話者之間的畫像，會(huì)話輸入回復(fù)都圍繞著的背景知識(shí)來介紹和生成，在這種情況下就得到了一致性，這個(gè)數(shù)據(jù)集是為了測(cè)試有沒有一致性的能力。

但是結(jié)構(gòu)化角色信息，不會(huì)出現(xiàn)在普通預(yù)訓(xùn)練當(dāng)中。要解決這個(gè)問題，使用了 TreeLSTM 學(xué)習(xí)結(jié)構(gòu)化角色信息，與 BERT 這種對(duì)話融合，最后就得到一致性生成，學(xué)習(xí)訓(xùn)練 BERT 的語義，和預(yù)定義的畫像之間進(jìn)行匹配的過程。

這是對(duì)話當(dāng)中的人設(shè)的問題，代表說話者的身份組合，在這個(gè)對(duì)話生成模型中，難以保證生成的回復(fù)符合給定人設(shè)，人設(shè)就是圖中 Persona。

BOB 模型包含三種模塊，即（1）編碼模塊，BERT E；（2）解碼模塊，BERT D1；（3）對(duì)話輸入和角色輸入的一致性理解模塊，BERT D2。2021 年的研究，思考如何去學(xué)習(xí)人物畫像，不僅僅面向有特定的領(lǐng)域，也對(duì)跨領(lǐng)域的進(jìn)行一致性生成，但是這個(gè)工作還有很多的問題。

3. 圖像 VCR

圖像的 VCR 就是視覺常識(shí)推理，需要模型有認(rèn)知能力，對(duì)場(chǎng)景視覺深入理解，來進(jìn)行復(fù)雜的推理。在這里這個(gè)人為什么看他，就需要常識(shí)，因?yàn)樾枰a(bǔ)充文本和圖片之間的共享語義，共享語義之間的一個(gè)連接點(diǎn)就是常識(shí)。

VCR 任務(wù)被分解成兩個(gè)多項(xiàng)選擇子任務(wù)：答案預(yù)測(cè)任務(wù)（Q→A）和原因預(yù)測(cè)任務(wù)（QA→R）。在人的知識(shí)中知道答案，再通過答案進(jìn)行學(xué)習(xí)原因，此過程和人的認(rèn)知一樣。

4. 推理+程序漏洞

使用無監(jiān)督方法標(biāo)注文本漏洞描述中的三種重要的短語級(jí)別的漏洞概念。人描述文本漏洞的句子通常有特定領(lǐng)域的名詞和概念，所以在做第三方評(píng)測(cè)的時(shí)候，會(huì)生成測(cè)試報(bào)告。訓(xùn)練一個(gè)特定領(lǐng)域的，面向安全漏洞領(lǐng)域的模型，需要大量人工標(biāo)注。

相同類型的漏洞概念，通常在句法解析樹中，共享相似的句法路徑，無論它們的句子結(jié)構(gòu)和短語表達(dá)是否相同。

區(qū)別于傳統(tǒng)的詞嵌入方法，研究使用絕對(duì)路徑和相對(duì)路徑兩種句法路徑來表示短語概念，圖上是給出的一個(gè)示例。

從數(shù)據(jù)集構(gòu)建短語句法路徑，再使用自動(dòng)編碼器無監(jiān)督的學(xué)習(xí)路徑的表示，得到句子的概念集合，聚類算法對(duì)短語概念進(jìn)行聚類，獲得了三種短語概念的集合。

最后使用重構(gòu)損失進(jìn)行度量模型的絕對(duì)路徑和相對(duì)路徑質(zhì)量。

--

05

總結(jié)

基于路徑推理的方法能夠無監(jiān)督的學(xué)習(xí)概念的表示，無監(jiān)督學(xué)習(xí)方法顯著降低了人工標(biāo)注的代價(jià)，無監(jiān)督學(xué)習(xí)標(biāo)注得到的數(shù)據(jù)能夠用于下游的機(jī)器學(xué)習(xí)相關(guān)任務(wù)。未來還有很多工作要去做，比如引入更多的漏洞概念類型，擴(kuò)展工作以用于軟件工程和網(wǎng)絡(luò)安全領(lǐng)域。

符號(hào)主義和連接主義在概念層次和宏觀層次是并不沖突的，而且是互補(bǔ)的，未來可以在推理層面進(jìn)行兩方面的融合。前面的分享不管是單模態(tài)、多模態(tài)或是跨模態(tài)下，都圍繞在推理這個(gè)層面上進(jìn)行融合。符號(hào)主義是表達(dá)能力和推理能力，連接主義是學(xué)習(xí)能力和推理能力，所以共享的部分就是推理能力。

參考文獻(xiàn)

[1]Qin X, Zhang X, Yasin M Q, et al.: A partial materialization-based approach to scalable query answering in OWL 2 DL. In Proceedings of International conference on database systems for advanced applications, pp.171-187. Springer (2020).

[2]Huang S, Wang Y, Zhao T, et al.: A Learning-based Method for Computing Shorted Path Distance on Road Networks. In Proceedings of 2021 IEEE 37th International Conference on Data Engineering(ICDE), pp.360-371. IEEE (2021).

[3]Omran P G, Wang K, Wang Z.: An Embedding-Based Approach to Rule Learning in Knowledge Graphs. IEEE Trans. Knowl. Data Eng. 33(4): 1348-1359 (2021).

[4]Omran P G , Wang K , Wang Z.: Scalable Rule Learning via Learning Representation. In Proceedings of 27th International Joint Conference on Artificial Intelligence, pp.2149-2155. ACM (2018).

[5]Qin L, Xiao Y X, et al.: Dynamically fused graph network for multi-hop reasoning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp.6140-6150 (2019).

[6]Liu Y, Wang R, Shan S, et al.: Structure inference net: Object detection using scene-level context and instance-level relationships. In Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp.6985-6994 (2018).

[7]Veitch V, Sridhar D, and Blei D M.: Adapting text embeddings for causal inference. In proceedings of the 36th Conference on Uncertainty in Artificial Intelligence, pp.919-928 (2020).

[8]Wu T, Ribeiro M T, Heer J, et al.: Polyjuice: Automated, general-purpose counterfactual generation. In Proceedings of the Association for Computational Linguistics, pp.1923-1929 (2021).

[9]Feder A, Oved N, Shalit U, Reichart R.: Causalm: Causal model explanation through counterfactual language model. Comput, Linguistics, 47(2): 333-386 (2021).

[10]Song H , Wang H, Wang W N, et al.: Profile Consistency Identification for Open-domain Dialogue Agents. In proceedings of Conference on Empirical Methods in Natural Language Processing, pp.1-16 (2020).

[11]Song H, Wang Y, Zhang K et al.: BOB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data. In proceedings of the Association for Computational Linguistics, pp.1-12 (2021).

[12]Sofonias Yitagesu, Zhenchang Xing, Xiaowang Zhang et al.: Unsupervised Labeling and Extraction of Phrase-based Concepts in Vulnerability Descriptions. ASE 2021: 943-954.

今天的分享就到這里，謝謝大家。

｜分享嘉賓｜

張小旺

天津大學(xué) 教授

張小旺，天津大學(xué)智能與計(jì)算學(xué)部教授，博導(dǎo)，北京大學(xué)理學(xué)博士，比利時(shí)哈瑟爾特大學(xué)博士后，天津市海外高層次人才，北洋青年學(xué)者，天津市認(rèn)知計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室副主任。研究方向包括知識(shí)圖譜，自然語言處理，數(shù)據(jù)庫系統(tǒng)等。主持國(guó)家級(jí)縱向和橫向課題各5項(xiàng)。目前擔(dān)任知識(shí)圖譜領(lǐng)域國(guó)際著名期刊互聯(lián)網(wǎng)語義期刊（JoWS）編委和國(guó)際數(shù)據(jù)智能期刊（DI）副主編。近年來，在AAAI，IJCAI，ACL，ASE，TOSEM，JAIR，ICDT，ISWC，EMNLP，JoWS，《計(jì)算機(jī)學(xué)報(bào)》，《軟件學(xué)報(bào)》等國(guó)內(nèi)外學(xué)術(shù)期刊會(huì)議發(fā)表論文多篇，獲得天津市科技進(jìn)步一等獎(jiǎng)，ACM天津新星獎(jiǎng)。

｜DataFun新媒體矩陣｜

｜關(guān)于DataFun｜

專注于大數(shù)據(jù)、人工智能技術(shù)應(yīng)用的分享與交流。發(fā)起于2017年，在北京、上海、深圳、杭州等城市舉辦超過100+線下和100+線上沙龍、論壇及峰會(huì)，已邀請(qǐng)超過2000位專家和學(xué)者參與分享。其公眾號(hào) DataFunTalk 累計(jì)生產(chǎn)原創(chuàng)文章800+，百萬+閱讀，15萬+精準(zhǔn)粉絲。