在智能客服的業(yè)務(wù)場(chǎng)景中，對(duì)于用戶頻繁會(huì)問(wèn)到的業(yè)務(wù)知識(shí)類(lèi)問(wèn)題的自動(dòng)解答（以下簡(jiǎn)稱為FAQ）是一個(gè)非常關(guān)鍵的需求，可以說(shuō)是智能客服最為核心的用戶場(chǎng)景，可以最為顯著地降低人工客服的數(shù)量與成本。

比如10086的在線智能客服，用戶提問(wèn)“如何查詢?cè)捹M(fèi)”，那系統(tǒng)可以自動(dòng)給出一個(gè)對(duì)應(yīng)的知識(shí)“請(qǐng)您向10086號(hào)碼發(fā)送‘HF’短信，即可查詢當(dāng)前話費(fèi)”，而不再需要耗費(fèi)高成本的人力來(lái)做解答。

本文要討論的就是對(duì)于這么一個(gè)特殊場(chǎng)景的算法方案在落地時(shí)候的一些考慮。也許有人會(huì)覺(jué)得，這個(gè)不都是很成熟的句子相似性建模的問(wèn)題嗎？有啥好討論的。那我也有一個(gè)疑惑，為什么不是QA相關(guān)度建模，而是Q與Q的相似性建模呢？

關(guān)于Sentence similarity（STS）和QA相關(guān)度的課題其實(shí)在學(xué)術(shù)界已經(jīng)是一個(gè)很老的課題了，前人都有大量的研究，但都只關(guān)心課題本身。而這些研究最終是否會(huì)被某一個(gè)具體的工業(yè)需求場(chǎng)景所需要和采用，卻也是另外一個(gè)值得思考的事情。

作為準(zhǔn)備戰(zhàn)斗在業(yè)務(wù)一線的算法工程師，我覺(jué)得對(duì)于算法本身的理解深度和調(diào)優(yōu)的技能固然重要，而對(duì)于一些實(shí)際的場(chǎng)景，如何考慮商業(yè)需求的實(shí)質(zhì)與潛在變化，并為其尋找和落地一個(gè)準(zhǔn)確率和速度兼顧，且能穩(wěn)步支持需求變更的技術(shù)方案也是尤其重要的能力。

FAQ 需求剖析

不多說(shuō)，我們進(jìn)一步來(lái)看一下什么是FAQ?；旧蟻?lái)說(shuō)，就是用戶使用智能客服系統(tǒng)，提問(wèn)了一個(gè)業(yè)務(wù)知識(shí)的問(wèn)題，系統(tǒng)需要在知識(shí)庫(kù)里找到最合適的那一個(gè)答案，且一般來(lái)說(shuō)，知識(shí)庫(kù)都是人工事先編輯好的。

那看上去這個(gè)需求非常明確，就是一個(gè)QA任務(wù)，問(wèn)題是如何對(duì)這個(gè)QA任務(wù)建模和實(shí)現(xiàn)？QA技術(shù)發(fā)展到今天，涉及范圍已經(jīng)很廣了，有閱讀理解QA，知識(shí)圖譜問(wèn)答QA，數(shù)據(jù)分析QA，個(gè)人助手QA等等...每一種的領(lǐng)域和方法都不太一樣，那FAQ的QA和他們有什么不一樣的地方呢？

個(gè)人拙見(jiàn)：

1. 在這個(gè)場(chǎng)景中，

知識(shí)的域是垂直封閉的

，并不是開(kāi)放的，只取決于開(kāi)發(fā)這個(gè)智能客服的公司或者個(gè)人的需要支持的業(yè)務(wù)范圍是多大。2. 由于是垂直領(lǐng)域，知識(shí)的變化并不會(huì)過(guò)于頻繁，且知識(shí)庫(kù)其實(shí)一般都是一個(gè)已經(jīng)編輯好的庫(kù)，一般由問(wèn)題與答案這樣的pair對(duì)組成，而不是那種很復(fù)雜的圖結(jié)構(gòu)或者關(guān)聯(lián)表結(jié)構(gòu)。如“如何查詢?cè)捹M(fèi)”與“請(qǐng)您向10086號(hào)碼發(fā)送 ‘HF’短信，即可查詢當(dāng)前話費(fèi)”這樣的一個(gè)

文本pair對(duì)

構(gòu)成。一般來(lái)說(shuō)pair對(duì)的數(shù)量都是幾十到幾百幾千不等，不會(huì)特別大。3. 回答相對(duì)簡(jiǎn)單，不需要太多的推理和解析，只需要知道是知識(shí)庫(kù)里的哪一個(gè)回答即可，某種程度上可以看做是一個(gè)

匹配問(wèn)題甚至是分類(lèi)問(wèn)題

。

方案選擇

在了解了具體的一些需求之后，我們就可以發(fā)現(xiàn)，在這個(gè)場(chǎng)景中并不需要上很復(fù)雜的semantic parsing技術(shù)，也不需要上如各種SQuAD里的復(fù)雜算法，感覺(jué)就是一個(gè)經(jīng)典的檢索和搜索問(wèn)題。去候選里搜索出哪個(gè)是最合適作為回復(fù)的即可。那問(wèn)題又來(lái)了，拿什么作為搜索的對(duì)象呢？

一種方案是拿輸入Query 與候選的所有Answer 去做匹配，去找哪一個(gè)最合適。 而另一種方案是就是拿輸入Query與歷史語(yǔ)料庫(kù)里的Query去找哪一個(gè)最相似，然后把找到的query對(duì)應(yīng)的Answer取出即可。

兩種方案看上去都有一定的可行性，但是經(jīng)過(guò)我實(shí)際的調(diào)研發(fā)現(xiàn)，工業(yè)界普遍采用的都是第二種基于問(wèn)題相似性的方案。

調(diào)研例子如下：

• 百度開(kāi)源的AnyQ
• 螞蟻金服辦的文本相似度比賽
• CCKS 2018的評(píng)測(cè)任務(wù)之一
• 其他如平安銀行的，拍拍貸的等等。

以上技術(shù)和數(shù)據(jù)的例子都發(fā)生在2018年，說(shuō)明這個(gè)已經(jīng)成為了現(xiàn)實(shí)的FAQ場(chǎng)景里的技術(shù)方向了，且久經(jīng)實(shí)際使用的考驗(yàn)，只是具體實(shí)現(xiàn)的差別罷了。

那為什么最終這種方案會(huì)成為FAQ的主流解決方案呢？我也這個(gè)問(wèn)題進(jìn)行一定的探索與思考，也請(qǐng)教了一些做這方面的前輩，再加上我自己的一些理解，寫(xiě)下了這篇文章。

選擇問(wèn)題相似度方案的原因

以下進(jìn)入正題，我們來(lái)仔細(xì)討論為什么問(wèn)題與問(wèn)題的相似性建模會(huì)成為FAQ領(lǐng)域的主流方案。

原因1：語(yǔ)義空間

問(wèn)題和問(wèn)題的語(yǔ)義空間是一致的，而問(wèn)題與回答的語(yǔ)義空間可能是不一致的。這個(gè)很好理解，問(wèn)題都是用戶方說(shuō)的自然語(yǔ)言，其說(shuō)話的出發(fā)點(diǎn)和形式是一樣的，所以其學(xué)習(xí)的空間也是同一個(gè)空間。而回答基本都是公司的產(chǎn)品經(jīng)理、業(yè)務(wù)運(yùn)營(yíng)、客服經(jīng)理等等制訂和編輯的，所以在語(yǔ)義空間上就與用戶的問(wèn)題有著明顯的不同。而這個(gè)語(yǔ)義空間的不一致性會(huì)極大影響算法的選擇與學(xué)習(xí)。

舉例來(lái)說(shuō)，如果是深度學(xué)習(xí)，句子相似度典型算法中以兩側(cè)向量相似度為目標(biāo)和損失函數(shù)的孿生網(wǎng)絡(luò)算法（Siamese network系列）就需要兩邊的語(yǔ)義空間一樣，兩邊抽取特征的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)也是共享的。而其他任務(wù)的匹配算法，如推理SLI任務(wù)往往就不是參數(shù)共享的，且往往需要額外的一個(gè)交互映射層來(lái)完成兩邊句子表示的語(yǔ)義映射關(guān)系。我的理解是這個(gè)額外的語(yǔ)義映射關(guān)系也會(huì)加大學(xué)習(xí)的難度。

另一方面如果是傳統(tǒng)手工特征，那么句法樹(shù)的解析出的中心節(jié)點(diǎn)是否相同，兩句子的編輯距離大小，兩句子的關(guān)鍵詞overlap情況，這些特征在相似問(wèn)題判斷時(shí)會(huì)有更好的體現(xiàn)，且具有很高的可解釋性（比如編輯距離越小，越可能是同一個(gè)意思）。而QA Match 在特征抽取上就會(huì)受限很多。

還需要考慮的一點(diǎn)是，極端情況下，問(wèn)題的回答甚至不是文本形式的，而是其他多媒體形式的，比如一個(gè)產(chǎn)品的安裝操作視頻，中國(guó)和歐美的標(biāo)準(zhǔn)尺碼表格或者是一張帶標(biāo)注的全國(guó)地圖。那這種情況，就更難以去對(duì)問(wèn)題和回答就行直接建模匹配。

原因2：語(yǔ)料的穩(wěn)定性

用戶的問(wèn)題雖然形式和說(shuō)法各有不一，千奇百怪，但是其整體分布上是一個(gè)穩(wěn)定的狀態(tài)。而回答卻會(huì)隨著業(yè)務(wù)的發(fā)展和國(guó)家政策的更改不斷發(fā)生變化。即QA數(shù)據(jù)本身，A就會(huì)發(fā)生變化，而Q卻不會(huì)發(fā)生太大變化。

可能會(huì)有人不理解我對(duì)于“變化”和“穩(wěn)定”的定義。我們的目標(biāo)是對(duì)于用戶的問(wèn)題都能給出一個(gè)合適的回復(fù)。那么什么叫做合適呢？一種理解是相關(guān)性，即問(wèn)題和回復(fù)是有高度的關(guān)聯(lián)性的。而另一種理解只要是在當(dāng)前這個(gè)時(shí)間點(diǎn)上根據(jù)實(shí)際業(yè)務(wù)需要的最好的回復(fù)即可?；谶@個(gè)背景，我們重新理解一下“變化”和“穩(wěn)定”。

用戶的問(wèn)題，如“現(xiàn)在買(mǎi)電動(dòng)車(chē)可以直接上牌嗎？”，即使變成了“我明天來(lái)買(mǎi)特斯拉，是不是牌照問(wèn)題直接解決”，從某種角度上看依然還是一個(gè)很穩(wěn)定的同義關(guān)系。而回答就很可能不是這樣了，會(huì)隨著客服和運(yùn)營(yíng)的腦子一熱或者業(yè)務(wù)政策本身的變化而發(fā)生非常劇烈的變化。

舉個(gè)例子，比如買(mǎi)車(chē)的用戶幾年前問(wèn)“現(xiàn)在買(mǎi)電動(dòng)車(chē)可以直接上牌嗎？”，當(dāng)時(shí)的標(biāo)準(zhǔn)回答是“純電動(dòng)車(chē)在北京市目前可以上牌，只要買(mǎi)車(chē)時(shí)辦理即可?！?過(guò)了幾年回答就變成“現(xiàn)在部分符合國(guó)家相關(guān)標(biāo)準(zhǔn)的可以直接上牌，如***車(chē)型，不符合的需要搖號(hào)”。而時(shí)過(guò)境遷，現(xiàn)在回答就成”現(xiàn)在都不能直接上牌，建議您先排隊(duì)搖號(hào)，可以先來(lái)看一看中意車(chē)型，等中了再來(lái)購(gòu)買(mǎi)“。甚至極端情況下，該答案變成了“該問(wèn)題較為復(fù)雜，請(qǐng)咨詢?nèi)斯た头?，電話?00XXXXXXX”。

所以我們可以看到回答的變化而引來(lái)的難題。算法本質(zhì)是在做一個(gè)擬合操作，而數(shù)據(jù)的變化越多，對(duì)模型算法的學(xué)習(xí)就越不利，所以你完全無(wú)法預(yù)估回答變化之后，整體的效果變化走向。

原因3：業(yè)務(wù)回答與算法模型的解耦

這一點(diǎn)可以說(shuō)是上述第二點(diǎn)的擴(kuò)展，把問(wèn)題與回答分離，只對(duì)問(wèn)題建模，可以將算法模型的學(xué)習(xí)與業(yè)務(wù)方編輯的答案充分解耦，讓不同問(wèn)題與回答之間的映射比較隨意可控。

如上面買(mǎi)電動(dòng)車(chē)的例子所說(shuō)，如果只是對(duì)用戶的輸入進(jìn)行相似性建模，那么不管客服運(yùn)營(yíng)方如何配置要回復(fù)的答案，都不會(huì)影響系統(tǒng)的匹配效果，可以做到實(shí)時(shí)的答案更新和替換。如下的例子更可以直觀反映情況：

原先的業(yè)務(wù)邏輯配置情況如下：

某次政策大幅度變動(dòng)之后的業(yè)務(wù)邏輯配置情況：

這里我們可以直觀地看到，如果采用QA匹配的策略，那么在新業(yè)務(wù)配置下，其語(yǔ)義匹配的關(guān)系已完全亂了。而如果使用QQ相似性建模的策略，依然不影響，只需要把問(wèn)題對(duì)應(yīng)的答案指針修改到新的位置即可。

原因4：新問(wèn)題發(fā)現(xiàn)與去重

FAQ的系統(tǒng)在構(gòu)建好后，并不會(huì)是一成不變的，因?yàn)楣镜臉I(yè)務(wù)需要也還是在不斷發(fā)生變化和增長(zhǎng)，用戶會(huì)有新的頻繁需要詢問(wèn)的問(wèn)題，或者其實(shí)有些問(wèn)題跟已有的問(wèn)題其實(shí)是一致的，或者歷史上配置的問(wèn)題其實(shí)是不必要的。

那這個(gè)時(shí)候就需要對(duì)系統(tǒng)進(jìn)行迭代，比如做新問(wèn)題的發(fā)現(xiàn)與重復(fù)問(wèn)題去重。而想做這個(gè)的話，最需要的就是要學(xué)習(xí)對(duì)問(wèn)題本身如何去表示。而問(wèn)題與問(wèn)題相似度建模的方法，明顯要比問(wèn)題與回答相關(guān)度建模的方法更直觀一些。

這里引用了一張螞蟻金服舉辦比賽時(shí)，其專(zhuān)家對(duì)于賽題的解讀，提到了一個(gè)完整的智能客服標(biāo)準(zhǔn)問(wèn)題生產(chǎn)體系里，會(huì)有一個(gè)對(duì)問(wèn)題進(jìn)行聚類(lèi)挖掘閉環(huán)的過(guò)程。而如何聚類(lèi)，那顯然就需要對(duì)問(wèn)題的充分表示，無(wú)論這個(gè)表示是基于手工特征的，還是分布式的表示。

原因5： 上線運(yùn)行速度

一個(gè)工業(yè)系統(tǒng)在在上線時(shí)必須要考慮的一個(gè)問(wèn)題是這個(gè)系統(tǒng)的并發(fā)和延時(shí)情況是怎么樣的。

如果使用QA Match的話，如果FAQ語(yǔ)料庫(kù)的候選很大，即A有很多的話，那么在線上預(yù)測(cè)的時(shí)候，就會(huì)存在一個(gè)問(wèn)題，進(jìn)來(lái)的問(wèn)題需要和那么多的A分別去做Match，（假設(shè)有1000條A，那么就需要執(zhí)行QA Match模型1000次）雖然可以使用Batch機(jī)制來(lái)批量match，但始終整體的計(jì)算資源消耗和計(jì)算速度是比較大的。

而如果使用問(wèn)題與問(wèn)題相似的思路，那么就可以提前把歷史文本語(yǔ)料索引在Elastic search這樣的搜索引擎中，或者可以把相似模型對(duì)于問(wèn)題的建模稠密向量用Faiss或者annoy工具索引起來(lái)。當(dāng)來(lái)了一個(gè)新問(wèn)題的時(shí)候，就通過(guò)索引去搜索召回出歷史語(yǔ)料中比較粗粒度的最相似TopK（這個(gè)時(shí)候TopK就可以降低到10或者20）問(wèn)題即可，然后再用精細(xì)化的耗時(shí)的復(fù)雜語(yǔ)義模型去進(jìn)一步匹配，就可以節(jié)約很多的計(jì)算資源和提高速度。

這里引用了一張百度的AnyQ框架的方案說(shuō)明，里面就設(shè)計(jì)了這個(gè)粗粒度的相似召回模塊。所以說(shuō)用相似的思路做，可以借鑒很多搜索上的一些優(yōu)化思路和方法，先做召回，后排序。而用QA Match的思路做，在召回階段，難度就比較高。

原因6：預(yù)訓(xùn)練

這個(gè)原因就屬于我拍腦袋想的了。問(wèn)題相似的方案，其實(shí)可以利用很多外部語(yǔ)料進(jìn)行預(yù)訓(xùn)練，如百度知道里有個(gè)百度提供的類(lèi)似問(wèn)題推薦（還是可以相信一下百度的NLP實(shí)力的）。一般來(lái)說(shuō)，合理的預(yù)訓(xùn)練會(huì)提高一些自己的具體任務(wù)的效果。

而QA Match里的A，往往是定制化的，跟業(yè)務(wù)高度相關(guān)，所以并沒(méi)有辦法很好的獲得太多外部語(yǔ)料。

總 結(jié)

我從性能，擴(kuò)展性，效果等方面分析了我個(gè)人關(guān)于智能客服領(lǐng)域的FAQ QA任務(wù)的具體技術(shù)方案的一些思考和整理。

雖然思考的是FAQ任務(wù)在方案選擇上的一些事情，但我認(rèn)為在調(diào)研和落地其他NLP任務(wù)的時(shí)候同樣也需要類(lèi)似的一種能力和實(shí)踐。