如何拥有自己的专属GPT-本地部署目前最强大模型llama3

1. 安装docker

什么是docker？
简单来讲，可以将docker理解为轻量版的虚拟机。也许你曾经遇到过，使用某一个软件的时候环境不通、还要安装各种依赖等等问题，经常会导致卡在某一步无法进行。所以容器化很好的解决了这个问题，会将你需要的环境、前置的依赖等等打包成镜像，你可以在容器中直接运行。

首先访问docker官网，下载docker桌面版。

下载完成后双击打开直接安装。

上图是我已经安装成功了。

2. 安装ollama

随着LLM发展越来越快，一些优秀的开源大语言基座模型得到了广泛应用。比如meta发布的llama3，google发布的gemma等等。每次大模型的发布都号称史上最强，但到底怎么样你自己体验了才能知道。
Ollama就是做这个事情的，让你能快速在本地也能跑起来各种大模型。
Ollama可以直接部署在本地，也可以部署在docker上，简单起见，我们还是部署在docker上比较好。
首先打开Windows命令行，可以使用win+r，然后输入cmd即可打开。

然后输入命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

如果没有ollama镜像，会自动从网络获取ollama镜像。

我这个是已经安装过了。

tips：最好使用命令行运行，主要是为了打开11434端口，为了后面可视化做准备。

安装llama3模型

在docker desktop找到ollama的容器，点击进入

点击exec进入容器命令行。

运行命令

ollama run llama3

ollama会自动下载llama3模型并运行。
等待下载完成后，显示success便是运行成功，这时候就可以向它提问了。

以上是我向它提的问题，可以看到已经有了回答。

4. 安装Open WebUI

虽然大模型已经安装成功，但是总不能一直用命令行来提问吧，非常不友好。如何才能像ChatGPT那样呢？
不用担心，开源社区总会有惊喜，Open WebUI就是做这个的。

打开命令行，执行下面的命令。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

没有镜像会自动下载好Open WebUI的镜像，然后执行。

这时候你打开docker desktop，可以看到open-webui已经在运行中了。

打开浏览器，输入localhost:3000，看到有登录界面，就算安装成功了。

可以注册一个账号再登录。

这时候还没有完，需要在上面设置模型后才能使用。
选择刚才创建好的llama3，这时候就可以提问啦。

看到这里就大功告成了，你已经拥有了自己的ChatGPT，please enjoy your llm。

结束

后面我会持续分享AI相关的技术，欢迎大家关注。
如果在安装过程中出现各种问题，也欢迎提问，笔者非常乐于解答。

本文链接：https://www.kjpai.cn/news/2024-05-04/164730.html，文章来源：网络cs，作者：纳雷武，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！