政安晨：【AI认知速成】（二）—— 利用开源项目轻松驾驭本地大模型

阅读本书更多章节>>>>

政安晨的个人主页：政安晨

欢迎 👍点赞✍评论⭐收藏

收录专栏: 政安晨的人工智能笔记

希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！

人工智能领域的大模型是指具有大规模参数和复杂结构的深度学习模型，用于处理复杂的任务和大规模的数据集。这些大模型通常包含大量的神经网络层和参数，能够在多个领域展示出强大的表现力和性能。

这些大模型的实现离不开硬件的支持，通常需要使用高性能的计算设：

例如图形处理器（GPU）或者专用的AI芯片。

它们的出现推动了人工智能技术的发展，使得在自然语言处理、计算机视觉、游戏博弈等领域取得了巨大的突破和进步。

人工智能大模型的用途极其广泛，其提升的准确性和处理更复杂任务的能力都令人赞叹。

然而，本地运行这些模型却一直是一项艰巨的任务。

1. 运行这些模型需要大量的计算资源，而且数据存储需求往往超过了一般个人设备所能提供的。

2. 设置、配置和维护这些模型的过程可能复杂且耗时。

3. 解决兼容性问题，排错和调试也会让用户在利用这些模型进行他们的研究或项目时望而却步。

4. 苦于没有英伟达的显卡（N性能越来越强的同时，价格也越来越高，呵呵），所以一直没能本地运行。

---

今天，咱们介绍一个开源项目：Ollama

ollamahttps://ollama.com/

Ollama简化了实现大型模型的过程，借助它，曾经令人畏惧的本地运行这些模型的任务变得轻而易举，它精简了整个过程，消除了与这些大型模型相关的设置和维护的复杂性。关键是不需要显卡，只使用CPU就可以运行。因此，有了Ollama，无论用户的技术栈或资源如何，大型模型的力量现在都已触手可及。

Github上面的Star也很惊人（很短时间就接近5万）：

Github地址如下：

GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.Get up and running with Llama 2, Mistral, Gemma, and other large language models. - ollama/ollamahttps://github.com/ollama/ollama它可以运行非常多的本地模型，使用前先下载：

Download Ollama on macOSGet up and running with large language models, locally.https://ollama.com/download因为我的系统是Linux，所以我选择这个：

curl -fsSL https://ollama.com/install.sh | sh

下载完成后，如果要执行llama2模型，执行下面命令，等待下载后，使用，非常方便。

ollama run llama2

在这里可以查看它支持的模型（非常多）：

libraryGet up and running with large language models, locally.https://ollama.com/library

在它的github上也能看到，有的本地模型有70B参数（700亿参数），虽然不如某些几千亿参数的开源大模型，但胜在亲民。（几千亿参数的大模型当下需要的显卡还太昂贵）。

另外，这个本地大模型开源项目还支持AMD显卡和仅CPU运行，大大降低了我们的运行难度。

ollama支持本地restful api调用，这个太有用了，可以集成到自己的应用软件中。

ollama/docs/api.md at main · ollama/ollama · GitHubGet up and running with Llama 2, Mistral, Gemma, and other large language models. - ollama/docs/api.md at main · ollama/ollamahttps://github.com/ollama/ollama/blob/main/docs/api.md

POST /api/generate

当然，ollama是基于命令行使用的，虽然原始一点，但胜在实在。

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/guonei/2024-04-16/159501.html，文章来源：网络cs，作者：璐璐，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！