GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？

　　马斯克19天建成由10万块H100串联的世界最大超算，已全力投入Grok3的训练中。

　　与此同时，外媒爆料称，OpenAI和微软联手打造的下一个超算集群，将由10万块GB200组成。

　　在这场AI争霸赛中，各大科技公司们卯足劲加大对GPU的投资，似乎在暗示着拥有更多、更强大的GPU，就能让自己立于不败之地。

　　然而，这种对高端GPU的狂热追求，并非在所有情况下，都是完美无缺的解决方案。

　　Pytorch之父表示，技术报告中暗藏了很多基础设施的有趣细节，包括如何并行化，如何让系统更可靠等等

　　就拿稳定性来说，在Llama3.1训练的54天里，Meta的1.6万块H100集群总共遇到了419次意外中断，相当于平均每3小时发生一次。

　　而在这之中，有148次(30.1%)是由于各种GPU故障引起的。

　　相比之下，由CPU故障引发的中断，只有2次。

　　另一方面，想要把Llama3.1405B跑起来，还得搭配2台8×H100的DGX工作站才行——即1280GB的显存。

　　曾经有位勇士尝试用一张4090运行，结果等了30分钟，模型才缓缓吐出一个「The」。

　　完整的回复，花了整整20个小时

　　熟悉模型的训练和推理的朋友都知道，这些事情一点都不奇怪。

　　集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。

　　对于缺乏相关经验和资金的公司来说，该怎么办?

　　最近，LC信息的研发工程师，仅靠4颗CPU，就让千亿参数的「源2.0」在通用服务器上跑起来了!

　　面对用Java编写程序的代码任务，「源2.0」非常迅速地给出了结果。

　　再给它上一道推理题——船边挂着软梯，离海面2米，海水每小时涨半米，几小时海水能淹没软梯?

　　同样，AI几乎0延迟给出了详细的解题步骤和答案。

　　用通用服务器运行千亿参数大模型，可谓是前无古人，这一领域的积累完全是空白，没有任何经验可借鉴。

　　LC信息，究竟是怎么做到的?

　　用4颗CPU，撬动千亿参数大模型

　　若要在单台服务器中，实现千亿参数大模型的推理，包含了2个主要阶段，均对计算能力提出了硬性需求。

　　首先，是预填充阶段，也叫做前向传播阶段。

　　这一阶段涉及到输入数据的处理、模型参数第一次读取。

　　比如，当你输入「给我写一篇有关AI的文章」提示，预填充阶段便会将问题中所有token、模型参数，一次性输入计算。

　　有时，这一输入可能是几个字，也可能是几千个字，或者是一本著作。

　　第一阶段的计算需求有多大，主要取决于我们输入的长度。

　　而在计算第一个token过程中，由于模型首次加载，会在内存中存放全部的权重参数，以及KV Cache等数据。

　　这是模型参数本身所占内存空间的2-3倍。

　　对于千亿参数模型来说，大量的参数和数据输入，需要在强大计算单元中处理。对此，它需要支持向量化指令集、矩阵计算指令集，来实现大量的矩阵乘法和张量运算。

　　其次，是解码阶段，即在问题全部输入之后，模型开始输出结果的阶段。

　　在这个阶段，对大模型唯一要求便是，输出尽可能快。同时，挑战不再是算力挑战，转而为「数据搬运」的挑战。

　　它包含了两部分「数据搬运」:

　　预填充阶段生成的大量KV Cache，需要从显存/内存，搬运到计算单元中(工作量非常大)

　　模型参数本身的搬运

　　这些搬运对大模型的计算和推理速度，起到了一个决定性的作用。数据搬运很快，LLM吐字的速度也会快。

　　LLM输出主要通过KV Catch，逐一生成token，并在每步生成后存储新词块的键值向量。

　　因此，千亿大模型的实时推理，服务器需要具备较高的计算能力，以及较高的存储单元到计算单元的数据搬运效率。

　　总而言之，在大模型推理的两阶段中，有着截然不同的计算特征，需要在软硬件方面去做协同优化。

　　GPU不是万能的

　　传统上，GPU因其具备优越的并行处理能力，一举成为了AI训练和推理的首选。

　　成本

　　然而，高端GPU服务器在市场中经常出现供不应求，极难获取的现象。

　　仅有资金雄厚的科技巨头们，诸如微软、谷歌，才能够承担起这笔费用。

　　另一方面，不仅买不起，更是用不起。

　　基于GPU的云服务租用，在推理任务中的代价却是高昂的。对于科研人员和应用厂商来说，需要实现更高的成本效益，就得另谋他路。

　　显存

　　此外，GPU最大的劣势之一在于，显存容量受限。

　　当前业界LLM的网络架构，已从GPT逐渐走向MoE。通向AGI的大模型参数规模，只会呈指数级增长。

　　这意味着，闭源/开源主流模型的尺寸只会越来越大，千亿参数，甚至万亿参数模型将会成为主流。

　　对于百亿参数模型，20-30GB显存就够了。然而，若想跑千亿参数，大约需要200-300GB的显存空间。

　　目前主流的AI芯片，显存通常只有几十GB，显然放不下这么大的模型。(目前最强的AI芯片也没还没达到200GB)

　　被低估的通用服务器

　　GPU不行，那就从CPU入手。

　　虽然目前还搞不定模型的大规模训练，但通用服务器在推理任务上，却意外有着不小的优势。

　　在具体实践的过程中，LC信息的工程师们分别从硬件资源和算法层面入手，攻克了一个个「拦路虎」。

　　超大内存+高速带宽

　　算力方面，目前领先的服务器CPU都已经具备了AI加速功能。

　　类似于GPU的Tensor core，AMX高级矩阵扩展可以将低精度的计算做加速，编成指令集给CPU的核，利用专用的核做加速。

　　算法方面，LC信息的通用服务器可同时支持PyTorch、TensorFlow等主流AI框架，以及DeepSpeed等流行开发工具，满足了用户更成熟、易部署、更便捷的开放生态需求。

　　通信方面，全链路UPI(Ultra Path Interconnect)总线互连的设计，则实现了CPU之间高效的数据传输:

　　允许任意两个CPU之间直接进行数据传输，减少了通信延迟

　　提供了高传输速率，高达16GT/s(Giga Transfers per second)

　　此外，LC信息的研发工程师还优化了CPU之间、CPU和内存之间的走线路径和阻抗连续性。

　　依据三维仿真结果，他们调整了过孔排列方式，将信号串扰降低到-60dB以下，较上一代降低了50%。

　　并且，通过DOE矩阵式有源仿真，找到了通道所有corner的组合最优解，让算力性能可以得到充分发挥。

　　内存方面，可以说是通用服务器的最大优势了。

　　容量

　　对于4路服务器来说，只需给每颗CPU插上8根32GB内存，就能轻松达到1TB。插满之后甚至可以扩展到16TB，最大可支持万亿参数的模型。

　　带宽

　　搭配DDR5的内存，则可以实现4800MHz ×8bit ×8通道 ×4颗 ÷1024=1200GB/s的理论上带宽。

　　实测结果显示，读带宽为995GB/s、写带宽为423GB/s，以及读写带宽为437GB/s。

　　这个数据，对于一些搭载GDDR显存的GPU或加速卡，可以说是毫不逊色。