Google 開源了 Gemma 大模型，有 7B 和 2B 兩個版本。

而且，性能非常強(qiáng)悍，基準(zhǔn)測試中 7B 模型的能力已經(jīng)是開源模型中的領(lǐng)先水平。

Gemma 可以輕松的在本地部署運行，如果你的顯存在 8G 以上，可以體驗 7B 版本，8G 以下的話可以試試 2B 版本。

下面是本地部署步驟，以及體驗感受。

一、部署步驟

思路：

• 使用 ollama 運行 Gemma 模型

• 使用 Chatbox 作為 UI 客戶端

1. 安裝 ollama

打開網(wǎng)頁 https:///

下載你相應(yīng)操作系統(tǒng)的版本。

我的是 Windows，下載后直接運行安裝。

安裝完成后，在命令行中執(zhí)行命令：

ollama -V

正確顯示版本號即為安裝成功。

2. 運行 Gemma

ollama 網(wǎng)頁頂部導(dǎo)航中有一個 “Models” 鏈接，點擊。

點擊 “gemma” 鏈接，進(jìn)入模型頁面。

點擊 “Tags” 標(biāo)簽，找到 “7b” 模型，后面有運行模型的命令，點擊復(fù)制按鈕。

命令行中執(zhí)行這個命令，首次運行時，會自動下載模型。

下載完成后，就進(jìn)入交互模式，這就可以開始聊天了。

例如讓它寫一段python代碼。

至此，Gemma 模型的本地部署運行已經(jīng)完成了，非常簡單。

3. 安裝 Chatbox

在命令行聊天很不方便，需要一個客戶端。

Chatbox 支持 ollama，非常方便。

先下載安裝 Chatbox。

項目地址 https://github.com/Bin-Huang/chatbox

在 Releases 頁面中下載最新版本（目前是1.2.2，已經(jīng)支持了 ollama），然后安裝。

打開設(shè)置，模型提供方選 ollama，API 地址是本地的 11434 端口，模型選 gemma:7b。

保存后，打開新對話窗口，即可開始聊天。

二、使用體驗

1. 內(nèi)容生成質(zhì)量

例如，我讓它用文藝傷感的方式描寫“秋天來了”

寫的還是挺好的。

3. 響應(yīng)速度

我的顯卡是 4060Ti，16G 顯存，響應(yīng)速度超快。

在內(nèi)容生成過程中，顯存是滿載的。

本地能夠如此簡單、流暢的運行高質(zhì)量大模型真的非常爽，推薦嘗試。

#AI 人工智能，#google gemma，#ollama，#chatbox，#本地部署大模型，#gpt890, #prompt

轉(zhuǎn)自 https:///article/21