跨境派

跨境派

跨境派,专注跨境行业新闻资讯、跨境电商知识分享!

当前位置:首页 > 卖家故事 > 在英特尔集成显卡轻松完成通义千问大语言模型优化和部署

在英特尔集成显卡轻松完成通义千问大语言模型优化和部署

时间:2024-05-05 07:30:23 来源:网络cs 作者:言安琪 栏目:卖家故事 阅读:

标签: 语言  模型  部署  完成 
阅读本书更多章节>>>>

作者:英特尔创新大使 刘力

1.1 Qwen-7B-Chat简介

Qwen-7B-Chat是阿里云通义千问系列中的一个专门针对聊天场景优化的模型版本,其参数规模同样为70亿(7B)。该模型继承了通义千问大模型的基本架构和特性,通过针对性的数据训练和调整,增强了在开放性对话和闲聊方面的表现能力。相比通义千问7B通用模型,7B-Chat更加擅长进行自然流畅的多轮交互式对话,适用于社交机器人、客服系统等应用场景,旨在提供更为生动有趣、富有情感共鸣的聊天体验。这个模型同样具备高质量的文本生成能力和对复杂语境的理解能力,是大型语言模型技术在聊天领域的实际应用体现。

1.2  OpenVINO Notebook简介

OpenVINO Notebooks是一套以 Jupyter Notebook 为载体的交互式编程教程和示例代码合集,由英特尔公司开发和维护。这套资源专为使用 OpenVINO 工具套件的开发者设计,旨在帮助他们更快地理解和掌握如何利用 OpenVINO 进行深度学习模型的优化与推理。

1.3 部署平台简介:

算力魔方是一款可以DIY的迷你主机,采用了抽屉式设计,后续组装、升级、维护只需要拔插模块。通过选择计算模块的版本,再搭配不同额 IO 模块可以组成丰富的配置,适应不同场景。性能不够时,可以升级计算模块提升算力, IO 接口不匹配时,可以更换 IO 模块调整功能,而无需重构整个系统。本文在带有英特尔锐炬® Xe集成显卡的算力魔方上完成验证。

1.4  在集成显卡上部署Qwen-7B-Chat

1.4.1 搭建OpenVINO Notebooks开发环境

安装前提条件:

确保您的系统满足OpenVINO的最低要求,包括Python版本和其他软件依赖项

第一步:请下载并安装Anaconda,然后在Anaconda内使用下面的命令获取存储库文件

git clone https://github.com/openvinotoolkit/openvino_notebooks.git

第二步:请使用下面的命令创建并激活名为“qwen”的虚拟环境

conda create -n qwen python=3.10conda activate qwen

第三步:请使用下面指令进入OpenVINO Notebooks存储文件夹并安装OpenVINO、Jupyter和其他必需的软件包来运行笔记本

cd openvino_notebookspip install -r requirements.txt

1.4.2  下载模型到本地

请使用命令将通义千问-7B(Qwen-7B)模型下载到本地

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

1.4.3 运行254-llm-chatbot程序

模型下载完成至本地后请参考《快速下载 OpenVINO™ Notebooks 中的 AI 大模型

该文章,然后运行OpenVINO™ Notebooks 的 254-llm-chatbot.ipynb

运行结果,如下所示:

运行视频

1.5 总结

OpenVINOTM工具套件简单易用,仅需三步即可在算力魔方完成开发环境搭建、以及Qwen-7B-Chat模型的INT4量化以及在英特尔集成显卡上的部署。

作者介绍:

刘力,深圳市铂盛科技有限公司的创始人。带领团队成功设计了多种计算机系统,并申请了多项专利和软件著作,铂盛科技为国家高新技术企业,深圳市专精特新企业。铂盛通过整合算力和算法,打造软硬件一体化的AIPC解决方案,目前产品已在工业控制、智能机器人、教育、医疗、金融等多个边缘计算领域得到广泛应用。

联系方式

电话:13537819699

Email:leo.liu@pasuntech.com

阅读本书更多章节>>>>

本文链接:https://www.kjpai.cn/gushi/2024-05-05/164938.html,文章来源:网络cs,作者:言安琪,版权归作者所有,如需转载请注明来源和作者,否则将追究法律责任!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

文章评论