引言問題一、目前有哪些商業(yè)化解決方案？以下產(chǎn)品或商業(yè)化解決方案介紹內(nèi)容均來自官網(wǎng)或公開報道，排名不分先后，僅供參考。 1. 云廠商1.1 百度智能云+千帆大模型知識庫百度智能云千帆大模型知識庫是一款專門面向大語言模型知識問答場景，旨在管理客戶上傳的知識并提供快速查詢檢索功能的產(chǎn)品。基于百度Elasticsearch，用戶能夠以高效的方式存儲和檢索大量的知識庫文檔，實(shí)現(xiàn)快速管理企業(yè)私域知識，構(gòu)建知識問答應(yīng)用。
下圖展示了知識庫在千帆大模型平臺的定位，可以看到知識庫作為大語言模型工具鏈的一環(huán)，用來保存企業(yè)私有數(shù)據(jù)，以解決數(shù)據(jù)隱私、時效性等問題。
從官方網(wǎng)站的介紹中可以看出，千帆大模型知識庫的實(shí)現(xiàn)原理也是基于RAG技術(shù)+LLM的集成。 該方案特點(diǎn)在于能夠靈活應(yīng)用千帆大模型平臺的能力進(jìn)行知識庫的構(gòu)建。千帆大模型平臺不僅提供包括文心一言底層模型（ERNIE-Bot）和第三方開源大模型，而且提供各種高AI開發(fā)工具和整套開發(fā)環(huán)境，比如數(shù)據(jù)管理、文檔解析、自動化模型SFT、prompt管理以及推理服務(wù)云端部署等，方便客戶輕松使用和開發(fā)大模型應(yīng)用。 1.2 阿里云 PAI+向量檢索PAI是阿里云人工智能平臺（Platform for AI），它提供的EAS模型在線服務(wù)能夠使用戶方便地使用大模型進(jìn)行推理，同時還支持通過LangChain方便地將大模型與向量數(shù)據(jù)庫無縫集成到業(yè)務(wù)中去，搭建****大模型知識庫對話系統(tǒng)。
步驟如下： 1、準(zhǔn)備向量數(shù)據(jù)庫，支持Faiss、Hologres、AnalyticDB for PostgreSQL、Elasticsearch； 2、使用EAS部署LLM大模型推理服務(wù)； 3、部署LangChain服務(wù)并啟動WebUI； 4、使用LangChain串聯(lián)業(yè)務(wù)數(shù)據(jù)知識進(jìn)行問答。 近期，阿里上線了百煉大模型服務(wù)平臺，用戶無需進(jìn)行上述開發(fā)步驟，即可免費(fèi)體驗基于RAG+LLM的企業(yè)知識庫應(yīng)用。
1.3 AWS Askture用戶可基于豐富且高性價比的亞馬遜云端資源，構(gòu)建基于 MVP（LLM+Vector+Prompt）架構(gòu)的企業(yè)下一代知識庫，該解決方案適用于制造、游戲、電商、客服、教育、法律、醫(yī)療等行業(yè)。
Askture 架構(gòu)將用戶劃分為三類角色：
2. 其他廠商2.1 達(dá)觀數(shù)據(jù) 智能知識管理系統(tǒng)KMS達(dá)觀數(shù)據(jù)是一家專注于智能文本處理技術(shù)的企業(yè)，為企業(yè)提供各類場景智能文本處理產(chǎn)品。其新一代智能知識管理系統(tǒng)KMS，提供知識生產(chǎn)、知識組織、知識搜索、知識問答、知識圖譜、知識社區(qū)6大能力，應(yīng)用于企業(yè)文檔管理、研發(fā)知識管理、制度管理、合同管理等場景。
從技術(shù)角度來看，除了在LLM知識庫解決方案中頻頻出現(xiàn)的“大模型”、“向量數(shù)據(jù)庫”之外，KMS還融入了達(dá)觀在知識圖譜、RPA以及OCR識別領(lǐng)域的技術(shù)積累，在整體應(yīng)用效果上也許能夠給用戶帶來更大的想象空間。 2.2 萌嘉網(wǎng)絡(luò)科技 TorchV系列產(chǎn)品杭州萌嘉網(wǎng)絡(luò)科技有限公司是成立于2023年11月29日的一家AI創(chuàng)業(yè)公司，TorchV是其AI系列產(chǎn)品的品牌，旨在幫助企業(yè)將LLM的能力應(yīng)用于生產(chǎn)業(yè)務(wù)中。
從圖中可以看到，Torch RAG定位為中間件，和底層國產(chǎn)大模型一起為TorchV Bot、TorchV Assistant以及TorchV Analyst三款基線產(chǎn)品提供基于智能知識庫的能力。 以TorchV Bot為例，它是一款基于RAG+LLM技術(shù)的客服機(jī)器人，零人工維護(hù)成本，開箱即用，提供SaaS服務(wù)和私有化部署兩種應(yīng)用形式。目前有34家企業(yè)在試用，其中兩家（不包含試用前的客戶）已經(jīng)成為正式客戶，這個成績應(yīng)該說是非常不錯了。 2.3 深藍(lán)海域 基于大模型的深藍(lán)小魚智答首席知識官從官網(wǎng)獲取的信息來看，深藍(lán)小魚智答首席知識官融入了深藍(lán)專利技術(shù)原子化知識搜索能力，將企業(yè)的知識庫內(nèi)容接入大模型，支持統(tǒng)一搜索、企業(yè)知識問答、閱讀輔助等能力，支持私有化部署，能夠充分保護(hù)企業(yè)數(shù)據(jù)安全。
2.4 其他除此之外，杭州音視貝、中關(guān)村科金、Ucloud、聳智科技、天潤融通等諸多企業(yè)也發(fā)布了相關(guān)產(chǎn)品和解決方案。由于可查找到的信息較少，此處便不再一一展開，感興趣的讀者可自行搜索。 問題二、落地前企業(yè)需要考慮哪些問題？從產(chǎn)品和解決方案角度來看，基于LLM+RAG技術(shù)的知識庫賽道已然“很卷”，企業(yè)如有相關(guān)需求，選擇面非常廣泛。不過根據(jù)后臺的咨詢，有一些企業(yè)從業(yè)務(wù)側(cè)出發(fā)覺得確實(shí)有相關(guān)需求想要嘗試一下，但是由于對相關(guān)技術(shù)不了解，在立項前缺乏了一些底氣。 面對這種情況，建議企業(yè)先考慮以下幾個問題： 1、想要實(shí)現(xiàn)什么樣的功能和效果？對大模型這類創(chuàng)新技術(shù)有什么期待？ 相信大部分想要落地基于大模型的知識庫類似應(yīng)用的企業(yè)，最終目標(biāo)都是希望能為業(yè)務(wù)服務(wù)并起到良好效果。不過盡管大模型技術(shù)已經(jīng)火爆了一年有余，對于如何將其引入B端應(yīng)用，各行各業(yè)仍處于摸索前進(jìn)狀態(tài)。如果對此類應(yīng)用效果沒有任何感知，也許會遭遇“期望越高，失望越大”的窘境。 建議企業(yè)事先通過開源項目或阿里百煉平臺進(jìn)行簡單嘗試，對這類應(yīng)用構(gòu)建預(yù)期的“baseline”，再根據(jù)自己的業(yè)務(wù)定義好效果目標(biāo)，做好預(yù)期管理再行動。 2、企業(yè)數(shù)據(jù)情況如何？ 企業(yè)的數(shù)據(jù)情況在很大程度上影響最終的應(yīng)用效果，體現(xiàn)在質(zhì)量和數(shù)量兩個方面。 質(zhì)量要求主要體現(xiàn)在知識數(shù)據(jù)是否已有整理？是否易于解析？比如我們曾經(jīng)遇到過一個案例，企業(yè)希望對含有圖紙、手寫簽名等元素的復(fù)雜報表進(jìn)行解析，客觀來說基于現(xiàn)有的技術(shù)水平確實(shí)很難實(shí)現(xiàn)這個目標(biāo)。 數(shù)量要求出現(xiàn)在對embedding模以及LLM模型微調(diào)環(huán)節(jié)，前者QA問答對要求在幾千級別，后者在上萬級別，這樣才能獲得比較好的微調(diào)效果。 此外，在建設(shè)知識庫初期，也需要企業(yè)投入一定的資源和技術(shù)服務(wù)商一起對知識進(jìn)行梳理，企業(yè)需要能夠理解并積極參與進(jìn)來。 3、對數(shù)據(jù)安全性的要求？ 企業(yè)對數(shù)據(jù)安全性的要求主要體現(xiàn)在應(yīng)用形式的選擇上。 如果企業(yè)對數(shù)據(jù)的安全性要求極高，數(shù)據(jù)不出內(nèi)網(wǎng)，那么只能選擇私有化部署的方案；相反也有一些企業(yè)對上云的SaaS服務(wù)持開放態(tài)度，那么也可以根據(jù)需求和預(yù)算來選擇適合的云服務(wù)。 4、企業(yè)是否具備專業(yè)技術(shù)團(tuán)隊？ 這里的專業(yè)技術(shù)團(tuán)隊是指具備根據(jù)業(yè)務(wù)目標(biāo)對embedding模型或LLM模型進(jìn)行微調(diào)能力的團(tuán)隊。已經(jīng)有一些技術(shù)服務(wù)商能夠提供低代碼、可視化的模型微調(diào)工具，這將大幅降低模型微調(diào)的門檻。在沒有模型微調(diào)工具的情況下，需要有專業(yè)的算法團(tuán)隊，如果不具備的話也可以請技術(shù)服務(wù)商來提供配套服務(wù)，不過要考慮到這部分的預(yù)算。 5、對算力的考慮？ 基于大模型的應(yīng)用往往需要用到GPU資源，僅推理對算力的資源要求較低，如果需要對基礎(chǔ)大模型進(jìn)行微調(diào)則對算力的要求會更高。然而在傳統(tǒng)的IT系統(tǒng)和應(yīng)用建設(shè)過程中往往不涉及GPU算力。那么企業(yè)在落地相關(guān)應(yīng)用時，需要考慮到這一部分的成本，從形式上可以考慮自備算力或者由技術(shù)服務(wù)商來提供類似軟硬一體的解決方案。 相信通過對上述問題的思考，能夠幫助企業(yè)在決策“是否要上基于大模型的智能知識庫項目”時，對前置條件和應(yīng)用預(yù)期有比較基本的認(rèn)識和理解，在此基礎(chǔ)上能夠與技術(shù)服務(wù)商一起更加順利地實(shí)現(xiàn)應(yīng)用的落地。 參考資料1、什么是千帆大模型知識庫 2、阿里云大模型RAG對話系統(tǒng)最佳實(shí)踐 3、基于智能搜索和大模型知識庫 – 實(shí)戰(zhàn)篇 4、達(dá)觀發(fā)布新一代知識管理系統(tǒng)，率先將大模型用于智能知識管理 5、TorchV的RAG實(shí)踐分享（四）——開放試用 6、基于大模型的深藍(lán)小魚智答首席知識官 |
|
|
