想训练AI模型，实验室GPU显存不够怎么办

阅读本书更多章节>>>>

近年来，OpenAI带火了大模型，人工智能应用进入了黄金时代，几乎各行各业都在努力进行人工智能落地应用探索。

客观上说，大模型效果的确好，对算力资源的消耗却非常高。其中训练时间长不说，显存的硬性需求更是直接决定了能否完成训练。虽然通过程序优化能够降低一些显存使用，但又可能面临着精度损失，对于精益求精的科研工作者而言，的确是让人纠结。

我们DeepLn算力云以常见的开源模型LLaMA为例，不同参数量下的微调，无论是LoRA微调还是全量微调，所需相关显存和算力都不小。

模型	LoRa (4Bit量化)最低显存	全参微调(FP16)最低显存	LoRA微调建议GPU	全参微调建议GPU
LLaMA-7B	6GB	84GB	RTX 3060, GTX 1660, 2060 AMD 5700 XT RTX 3050	RTX4090 * 4, Tesla V100 32G * 4 Tesla V100 16G * 6 Tesla A100 40G * 2 Tesla A100 80G * 2
LLaMA-13B	10GB	156GB	AMD 6900 XT RTX 2060 12GB RTX3060，3080 A2000	RTX 4090 * 8 Tesla V100 32G * 6 Tesla A100 40G * 4 Tesla A100 80G *2
LLaMA-30B	20GB	360GB	A5000, RTX 6000 RTX3090, 4090 Tesla V100 Tesla P40	Tesla V100 32G * 12 Tesla A100 40G * 10 Tesla A100 80G * 6
LLaMA-65B	40GB	780GB	A100 40GB, A40 2×3090, 2×4090 RTX A6000 RTX 8000	Tesla V100 32G * 26 Tesla A100 40G * 20 Tesla A100 80G * 10
ChatGLM2-6B	6GB	84GB	RTX 3060 GTX 1660, 2060 AMD 5700 XT RTX 3050	RTX4090 * 4 Tesla V100 32G * 4 Tesla V100 16G * 6 Tesla A100 40G * 2 Tesla A100 80G * 2

从上面的例子来看，一般的高校实验室，的确是可能存在显存不足的情况，特别是全量训练或者微调时问题尤为突出。此时想让实验室新购置设备更是遥遥无期，估计开会还没讨论出结果，好多炼丹侠的deadline就到了。

更何况一套算力服务器动辄几十上百万，还要有配套的无尘机房和运维人员，这简直是三杀。

算力不够，租用云端GPU算力就成为不少科研用户的首选，然而打开某里云、某为云、某讯云一看，心里瞬间凉了半截儿，30GB以上显存的显卡，动不动就要几十元一小时，跑个程序下来，上千块就没了，这经费燃烧的速度一般人扛不住，真要是硬着头皮用下来，怕是一些实验室老大会扒了炼丹侠们的皮（手动狗头）。

更何况现在大显存算力供不应求，像A100之类的甚至被好多云计算平台下架自用了，根本轮不到外面用户去租。

这个时候，就要推荐我们的DeepLn算力云了，A100、RTX8000、V100这些大显存GPU管饱管够，关键是价格低到令人心动，低到只有你想不到，没有我们做不到。大显存算力真的被做到了白菜价。

图中40G显存的A100、48G的RTX8000都做到了2元档，32GB显存的V100更是做到了不到2元，真心说，这价格简直杀嘎嘎乱杀。

那么有较真的童鞋就要问了，DeepLn算力云凭啥能这么便宜，我只能说其中也有小编的功劳了，大概是小编负责嘎嘎，老板和技术负责剩下的乱杀吧，更何况现在微信绑定还送30元算力券，大家快来试试吧。

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/gushi/2024-04-07/155099.html，文章来源：网络cs，作者：付梓，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！