01、本地大模型越來越簡單

經(jīng)過了一年多時間的迭代，大模型種類繁多，使用也越來越簡單了。

在本地跑大模型，個人認(rèn)為目前最好的軟件肯定是Ollama無疑了，

不管你是在PC上跑大模型，在Mac上跑大模型，還有在樹莓派上跑大模型，

我們都可以用Ollama去跑各種大大小小的模型，而且它的擴展性非常強。

02、Ollama本地運行大模型

現(xiàn)在安裝Ollama超級簡單的，只需要進入Ollama官網(wǎng)下載安裝包，然后安裝即可。

以下是我個人安裝為例（macOS系統(tǒng)）：

• 1、下載

• 2、安裝

直接點擊Next：

• 3、命令查看

• 4、運行

• 其他說明

如果自己不確定模型名稱可以去官網(wǎng)查看模型

每款大模型都有不同版本，根據(jù)自己的機器來選擇，根據(jù)官網(wǎng)的文檔也說明了，一般7B的模型至少需要8G的內(nèi)存，13B的模型至少需要16G內(nèi)存，70B的模型至少需要64G內(nèi)存。

03、使用Web UI界面連接Ollama

ollama沒有界面化的頁面使用，它是在終端里交互的，所有我們要使用圖形化的界面里去操作，這是我們可以使用Open WebUI。

Open WebUI是一個開源的Web UI界面，github地址：https://github.com/open-webui/open-webui

• 1、下載和運行

使用Docker方式運行Open WebUI，直接一條命令解決下載和運行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

命令解釋：

• -d：后臺運行
• -p 3000:8080：將容器的8080端口映射到主機的3000端口
• --add-host=host.docker.internal:host-gateway：添加主機映射，用于訪問主機的Docker容器
• -v open-webui:/app/backend/data：將主機的open-webui目錄映射到容器的/app/backend/data目錄
• --name open-webui：設(shè)置容器名稱
• --restart always：設(shè)置容器總是重啟
• ghcr.io/open-webui/open-webui:main：鏡像地址

啟動日志：

注意：open-webui啟動時有點慢，需要等待一會?？梢酝ㄟ^docker logs open-webui查看日志。紅框的可以不用理會。

• 2、注冊

第一次使用時需要進行注冊，這個數(shù)據(jù)都是本地存儲。

• 3、登錄

• 4、open-webui使用界面

• 4、設(shè)置

• 5、模型選擇

04、本地化知識庫

1、open-webui界面文檔設(shè)置

2、加載網(wǎng)頁或者文檔

在對話窗口通過#+鏈接加載網(wǎng)頁，通過對話框的+上傳文件，也可以在文檔中導(dǎo)入。

如果對知識庫有更高的需求，可以使用AnythingLLM這個軟件，github地址：https://github.com/Mintplex-Labs/anything-llm