因客戶要求，做一個完全離線的智能體。并且可以調(diào)用API任意修改界面。

先上本文的重點，也是等了好久，終于出來一個帶web界面的基于Ollama的框架。

地址為：

https://github.com/jacoblee93/fully-local-pdf-chatbot

這是親測效果：

速度還能接受。

1. 介紹：

它是一款基于Next.js React tailwind的應(yīng)用程序。可以通過上傳PDF文檔，僅回答文檔中的相關(guān)內(nèi)容?？梢酝耆x線。

• Voy作為向量存儲，在瀏覽器中完全采用WASM
  

• Ollama在本地運行LLM并將其發(fā)布到Web應(yīng)用程序
  

• LangChain.js調(diào)用模型、執(zhí)行檢索并協(xié)調(diào)所有部分
  

• Transformers.js在瀏覽器中運行開源的Nomic embeddings
  

為了在某些機器上獲得更快速度，可以在app/worker.ts切換到'Xenova/all-MiniLM-L6-v2'。

2. 安裝步驟：

1.  下載安裝Ollama.(https:///)
   

2. 運行下面的命令：

   

3.  更換模型：

這里選擇的是mistral，大概4G左右，當然根據(jù)需要，可以下載Ollama上的其它模型。像llama2-chinese，對中文支持的比較好。

4. 對設(shè)備的要求：

如果下載7b模型，至少需要8G內(nèi)存

如果下載13b模型，至少需要16G的內(nèi)容

然后針對本地部署大模型，專門做了一些調(diào)研，大概有兩種選擇。

1.  用清華大學(xué)的智譜清言API

   https://open.

   可以上傳自己的多個PDF知識問答，讓它只回答文檔中的問題。

   可以安裝SDK，然后提供API接口供調(diào)用。

   下面是測試結(jié)果：
   

這是它的收費方式。

2. 自己部署ChatGLM

這里簡單做個對比，自己部署ChatGLM 對設(shè)備的要求極高。

https://github.com/THUDM/ChatGLM3

要不有一個好的CPU，要不有一塊好的顯卡，顯卡盡量13G ，內(nèi)存基本要32GB 。

3. Ollama

• Ollama，一條命令在本地跑 Llama2

• 無需上網(wǎng)，讓每個人可以免費在自己電腦上使用AI大模型。在GitHub超過22K Star的開源項目

• Ollama 是一個強大的框架，設(shè)計用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器內(nèi)部署和管理 LLM 的促進者，它使該過程變得非常簡單。它幫助用戶快速在本地運行大模型，通過簡單的安裝指令，可以讓用戶執(zhí)行一條命令就在本地運行開源大型語言模型，例如 Llama 2。

• Ollama 將模型權(quán)重、配置和數(shù)據(jù)捆綁到一個包中，定義成 Modelfile。它優(yōu)化了設(shè)置和配置細節(jié)，包括 GPU 使用情況。

• ollama極大的簡化了安裝的過程，并提供了多種選擇。

• 支持的平臺包括：Mac和Linux，并提供了docker 鏡像。

• 除了簡單的啟動模型外，Ollama 可以通過編寫 Modelfile 來導(dǎo)入更多的自定義模型，具體的使用方法和配置請自行查閱文檔。

• Ollama具備靈活的擴展性，它支持和很多工具集成，除了命令行的使用方式，可以通過配合UI界面，簡單快速的打造一個類ChatGPT應(yīng)用

包含了常用的各大模型：

總結(jié)：

這樣對本地部署的幾個常見大模型就有了大概了解，然后數(shù)字人這塊也就完善了本地部署大模型的功能，由于Ollama封裝成一個安裝文件包，這種方式非常方便，最早見過google的一個女程序就是把大模型打包為一個安裝包，不知道圖片、視頻相關(guān)的大模型有沒有類似的。解決了文字部分，接下來就是發(fā)展多模態(tài)的應(yīng)用了。