轻松上手:本地化部署AI大语言模型全攻略

上个月,Meta推出了Llama 3.1,这一版本提供了三种不同的模型尺寸:8B、70B 和 405B 参数量。Llama 3.1的能力得到了全面提升,并原生支持8种语言,具备长达128k的上下文窗口。

那么问题来了:如何在本地环境中部署这样一个强大的开源大语言模型呢?不用担心,本教程将向您展示只需几个简单的步骤,就能免费部署属于您自己的私有大语言模型。

第一步:

需要下载ollama,进入ollama官网下载: Download Ollama on Windows


Ollama同时支持macOS、Linux和Windows系统,选择你自己的系统进行下载即可。
纯洁是Windows电脑,所以接下来的教程是以Windows的操作为例。如果你是其他系统,不会部署的话,可以在下面评论留言。

第二步:

下载完成后,双击打开OllamaSetup.exe进行安装,点击Install即可进行安装。

安装完成后,鼠标右键单击一下开始图标,然后选择运行

在运行里面输入 cmd 后点击确定。
QQ20240810-115245
可以看到已经进入cmd窗口了

第三步:

选择你想要部署的开源模型,访问: library (ollama.com) 在这里面可以看到全球几乎所有厂商提供的开源大语言模型。


我这里以llama3.1为例,选择llama3.1后,左侧选择8b,然后点击右侧复制安装命令

(8b只需要电脑有4G显存就可以丝滑运行,如果你觉得自己电脑配置非常优秀,可以安装更大规模的模型)

将安装命令粘贴到cmd窗口,然后按回车键,即可开始下载。


llama3.1-8b有4个多G,需要先确保你硬盘够用。

现在已经下载完成了,可以看到自动运行起来了

这时我们可以直接对它进行提问了


我的电脑是8G显存,运行llama-3.1-8b非常丝滑,一秒能蹦出20个字。

最后再讲一点ollama的维护命令:

1、后续如果关闭了cmd窗口,想要再次使用的话,可以再次打开cmd创建,执行ollama run llama3.1:8b即可运行。

2、执行 ollama list 可以看到你电脑上安装了哪些模型
QQ20240810-122110

3、如果你安装了多个模型,想要删除某一个模型,可以执行 ollama delete 模型名 ,例如 ollama rm llama3.1:8b
QQ20240810-122159

好了,今天的教程就是这样,下一期教你如何给ollama增加一个使用更方便的网页对话界面。

写得很好,好好学习一下