【AI开发：语言】二、Qwen1.5-7B模型本地部署CPU和GPU版

阅读本书更多章节>>>>

前言

        之前文章，我们采用了Koblod运行Yi-34B大模型，本文采用LM Studio来运行千问模型。

LM Studio并没有开源，但是可以免费使用，他是目前本地进行模型测试最好的工具了。

        在这里，依然使用Windows 10进行部署和测试，没有GPU。

        注意：LM的运行速度相比较Kobold两者差不多，而且也提供WEB服务，稍后也研究下他的API功能，LM的功能更多一些有待开发。

        完整工具包下载（均为官方版本）：AI开发工具包官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘123云盘为您提供AI开发工具包最新版正式版官方版绿色版下载,AI开发工具包安卓版手机版apk免费下载安装到手机,支持电脑端一键快捷安装https://www.123pan.com/s/b5zTTd-tyaH.html%E6%8F%90%E5%8F%96%E7%A0%81:rnwi

一、LM Studio下载

下载地址：LM Studio - Discover, download, and run local LLMs

二、模型下载

下载地址：AI快站 - HuggingFace模型免费加速下载

我们要从这里选择需要的模型。其他模型资源如下：

1.其他模型资源

国内厂商模型

序号	厂商	访问地址
1	阿里通义千问	AI快站 - HuggingFace模型免费加速下载
2	百川智能	AI快站 - HuggingFace模型免费加速下载
3	CodeFuse	AI快站 - HuggingFace模型免费加速下载
4	上海人工智能实验室	AI快站 - HuggingFace模型免费加速下载
5	智谱	AI快站 - HuggingFace模型免费加速下载
6	智源人工智能研究院	AI快站 - HuggingFace模型免费加速下载
7	FlagAlpha	AI快站 - HuggingFace模型免费加速下载
8	零一万物	AI快站 - HuggingFace模型免费加速下载

海外厂商模型

序号	厂商	访问地址
1	google	AI快站 - HuggingFace模型免费加速下载
2	codefuse-ai	AI快站 - HuggingFace模型免费加速下载
3	mosaicml	AI快站 - HuggingFace模型免费加速下载
4	bigcode	AI快站 - HuggingFace模型免费加速下载
5	lmsys	AI快站 - HuggingFace模型免费加速下载
6	NousResearch	AI快站 - HuggingFace模型免费加速下载
7	OpenAssistant	AI快站 - HuggingFace模型免费加速下载
8	tiiuae	AI快站 - HuggingFace模型免费加速下载
9	bigscience	AI快站 - HuggingFace模型免费加速下载
10	diffusers	AI快站 - HuggingFace模型免费加速下载
11	microsoft	AI快站 - HuggingFace模型免费加速下载
12	runwayml	AI快站 - HuggingFace模型免费加速下载
13	HuggingFaceH4	AI快站 - HuggingFace模型免费加速下载
14	garage-bAInd	AI快站 - HuggingFace模型免费加速下载
15	openai	AI快站 - HuggingFace模型免费加速下载

2.需要的模型

本次部署，我们依然选择4B，当然还是选择了GGUF格式，稍后我还要部署到服务器端。

三、安装和打开LM Studio

双击 LM Studio setup.exe，稍等片刻，它会自动安装到C盘，可以挪走，也可以不动。

四、加载和使用模型

1.创建模型文件夹        

        我们先把已经下载好的本地模型，放到它指定的目录下，否则就无法加载模型，其中有两个文件夹第一次可能需要手动建立Publisher和Repository，他俩是上下级关系 。

C:\Users\Administrator\.cache\lm-studio\models\Publisher\Repository

 将我们需要用的模型拷贝进来

2.重新启动LM

重启后，我们就可以去查看自己的模型了。

 3.修改模型文件夹

D:\LM-Studio\models\Publisher\Repository#新建Publisher和Repository

在选择模型的时候，只选择到 models这一级就可以了，多选无效。

4.使用AI对话

五、LS的API功能

API文档：Local LLM Server | LM Studio

由于时间问题，稍后再做整理和测试。

六、最后

        Kobold和LM Studio各有千秋吧，一个是简单，另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/xuetang/2024-04-27/162992.html，文章来源：网络cs，作者：淼淼，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！