如何在Visual Studio Code中輕松運行Llama 3模型：完整指南

黃爸爸好 2024-04-27 發(fā)布于上海

展開全文

Meta 發(fā)布了最新的開源語言模型Llama 3。因為它是開源的，你可以下載這個模型，并在自己的電腦上運行。

我清楚，你可能會想，在個人筆記本上運行一個擁有80億參數(shù)的AI模型似乎只有技術(shù)高手才能做到。但別擔(dān)心！這篇文章會提供一個簡單的步驟指導(dǎo)，幫助每個人都能輕松上手。

準備工作

在我們深入到具體步驟之前，我們先來看一下我當前使用的環(huán)境配置：

筆記本型號：Lenovo ThinkPad X1 Extreme
操作系統(tǒng)：Windows 11 Pro 版本 10.0.22631 構(gòu)建 22631
CPU：Intel(R) Core(TM) i7-9850H 處理器
內(nèi)存：32 GB
硬盤空間：642 GB

確實，運行這個模型并不需要你擁有頂級的GPU。只要有一個不錯的CPU和充足的內(nèi)存，你就能在自己的電腦上順暢運行Llama 3。

第 1 步：下載并安裝 Ollama

首先，訪問Ollama網(wǎng)站，下載最新版本的安裝程序。Ollama是一個多功能工具，旨在幫助用戶在不同平臺上本地運行、創(chuàng)建和分享大型語言模型（LLMs）。

完成Ollama的安裝后，確保它在后臺運行。你可以通過系統(tǒng)托盤或任務(wù)管理器中的Ollama圖標來進行檢查。

要驗證Ollama在命令行界面（CLI）中是否正常工作，可以運行以下命令來查看版本。我當前的版本是0.1.32，你的版本可能會有所不同。

> ollama -vollama version is 0.1.32

第 2 步：在 VS Code 中安裝 CodeGPT 擴展

接下來，打開Visual Studio Code，轉(zhuǎn)到擴展標簽頁。搜索來自codegpt.co的“CodeGPT”并安裝這個擴展。這個擴展使你能夠直接在VS Code里使用Llama 3。

安裝完畢后，你應(yīng)該能在VS Code的左側(cè)邊欄看到CodeGPT的圖標。

第 3 步：下載模型

在VS Code的終端里，運行以下命令來下載Llama 3模型：

ollama pull llama3:8b

因為模型大小超過4GB，所以下載可能需要一段時間。請耐心等待直到完成。下載成功后，你將看到一個成功的消息提示。

第 4 步：選擇 Llama 3 模型

在VS Code的左側(cè)CodeGPT儀表板中，找到“提供者”下拉菜單，選擇“Ollama”。然后，在“模型”下拉菜單中選擇“Llama3:8b”。如果列表中沒有顯示這個模型，你可以手動輸入“Llama3:8b”。

確保正確選擇模型，這樣CodeGPT就會使用Llama 3來生成回答。

第 5 步：在VS Code上運行Llama 3

現(xiàn)在我們已經(jīng)下載了模型并在VS Code上安裝了CodeGPT，讓我們通過輸入一個測試提示來檢查一切是否正常工作。

Prompt: what is the distance of the moon from Earth?
Response: The average distance from the Earth to the Moon is approximately 384,400 kilometers (238,900 miles). This is called the “l(fā)unar distance” or “l(fā)unar mean distance.” However, the Moon’s orbit is not a perfect circle and its distance from Earth varies slightly due to the elliptical shape of its orbit. The closest point in this orbit, called “perigee,” is about 356,400 kilometers (221,500 miles), while the farthest point, called “apogee,” is about 405,500 kilometers (252,000 miles).