跨境派

跨境派

跨境派,专注跨境行业新闻资讯、跨境电商知识分享!

当前位置:首页 > 工具系统 > 监控软件 > 免费打造个人专属的高颜值本地大模型AI助手,无限量使用 Ollama+LobeChat开源工具,在本地运行AI大模型,安全的和AI对话。

免费打造个人专属的高颜值本地大模型AI助手,无限量使用 Ollama+LobeChat开源工具,在本地运行AI大模型,安全的和AI对话。

时间:2024-04-23 10:25:26 来源:网络cs 作者:淼淼 栏目:监控软件 阅读:

标签: 本地  模型  工具  对话  安全  运行  使用  助手  无限 

文章目录

1、安装ollama2、下载模型3、安装lobechat4、卸载Ollama

1、安装ollama

第一步,首先安装ollama,选择对应系统的安装包

ollama官网地址:https://ollama.com/

在这里插入图片描述
在这里插入图片描述
本问是lunix系统上安装ollama:

curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述
在这里插入图片描述
如果机子没有GPU显卡的话,ollama会提示只通过cpu模式运行。

测试ollama命令:

ollama --help

在这里插入图片描述

想要流畅运行,推荐配置:

4b的模型:8GB内存。

7b的模型:16GB内存。

13b模型: 32GB内存。

70b模型:64GB内存,32也能跑,太卡。

在这里插入图片描述

2、下载模型

ollama支持的LLM模型很多:
https://ollama.com/library

第二步,下载model,本文选择下载阿里的通义千问模型:
在这里插入图片描述
在这里插入图片描述
这里选择4b参数的模型:
在这里插入图片描述

ollama run qwen:4b

在这里插入图片描述

ollama会自动帮我们下载模型和启动模型。
模型下载完成后,可以发送一条消息测试:
在这里插入图片描述
修改ollama环境变量:

#找到服务的单元文件:#/etc/systemd/system/目录下sudo vi /etc/systemd/system/ollama.service #添加环境变量:[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"#如果已经有Environment="PATH=xxx:/root/bin" "OLLAMA_HOST=0.0.0.0:11434" #为了使更改生效,您需要重新加载systemd的配置。使用以下命令:sudo systemctl daemon-reload  #最后,重启服务以应用更改:sudo systemctl restart ollama 

使用命令行操作不太方便,使用下面的lobe chat进行界面化操作。

3、安装lobechat

Lobe Chat:现代化设计的开源 ChatGPT/LLMs 聊天应用与开发框架,支持语音合成、多模态、可扩展的(function call)插件系统,一键免费拥有你自己的 ChatGPT/Gemini/Claude/Ollama 应用。

lobe chat参考地址:https://github.com/lobehub/lobe-chat/blob/main/README.zh-CN.md

使用docker方式进行安装:

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat
#你在自己的私有设备上部署 LobeChat 服务。使用以下命令即可使用一键启动 LobeChat 服务:$ docker run -d -p 3210:3210 \  -e OPENAI_API_KEY=sk-xxxx \  -e ACCESS_CODE=lobe66 \  --name lobe-chat \  lobehub/lobe-chat

在这里插入图片描述
开通3210端口,进行访问测试:

在这里插入图片描述
配置lobe chat:

首先将模型切换到我们下载好的qwen 4b模型:
点击设置—选择语言模型
在这里插入图片描述
在这里插入图片描述

ollama完全兼容openai的接口,在接口代理地址中输入我们的ollama地址。

http://host.docker.internal:11434/v1

如果是docker的话,用 http://host.docker.internal:11434/v1手动的话,就用 http://localhost:11434/v1 或者 http://127.0.0.1:11434/v1

如果是跑4b,7b等小模型,普通电脑就可以了,如果要跑32b比较大的,最好是有GPU,还要显存比较大
硬盘没啥要求,比如4b的模型,才2.3GB而已,30b的也就30GB左右,完全不用担心磁盘.

4、卸载Ollama

如果您决定不再使用Ollama,可以通过以下步骤将其完全从系统中移除:

停止并禁用服务:

sudo systemctl stop ollamasudo systemctl disable ollama

删除服务文件和Ollama二进制文件:

sudo rm /etc/systemd/system/ollama.service sudo rm $(which ollama)

清理Ollama用户和组:

sudo rm -r /usr/share/ollamasudo userdel ollamasudo groupdel ollama

在这里插入图片描述


每一次的跌倒,都是对未来的一次深情拥抱。


本文链接:https://www.kjpai.cn/news/2024-04-23/161425.html,文章来源:网络cs,作者:淼淼,版权归作者所有,如需转载请注明来源和作者,否则将追究法律责任!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

文章评论