久久性网站：一个3090单挑180亿参数的大模型：国内开源项目这次杀疯了

什么？单个GPU也可以训练大模型？
还是20系能赢的那种？
没有开玩笑，事实已经摆在眼前：
普通游戏本能训练15亿参数模型RTX20606GB；
RTX309024GB主机直接单挑180亿参数大模型；
TeslaV10032GB连240亿参数都能拿下。
与行业主流的pytorch和deepspeed方法相比，提升参数容量可达10倍以上。
而且这种方法完全开源，只需要几行代码就可以完成，修改量也很小。
这波操作真是直接腰斩大模型训练门槛啊，老黄不是要失血。
所以，做出这么大名堂的是何方大佬？
这是国内开源项目Colossal-AI。
自开源以来，曾多次霸榜GitHub热门。
开源地址：https：github.comhpcaitechColosalai。
主要做的是加速各种大模型的训练，GPT-2.GPT-3.ViT。
例如，可以训一次vit-base32，2天完成15亿参数GPT模型，5天完成83亿参数GPT模型。
同时也可以节省GPU。
例如GPT-3训练时使用的GPU资源，可以是英伟达Megatron-LM的一半。
所以这一次，它是如何使单块GPU训练百亿参数大模型的？
我们深挖原理~。
GPU+CPU异构内存的高效使用。
为什么单个消费级显卡很难训练AI大模型？
最大的困难是显存有限。
今天的大模型风头正盛，效果又好，谁不想上手感觉一把呢？
但是动不动的“CUDAoutofmemory”，真的让人受不了。