26年高龄奔腾II电脑成功运行大型语言模型，EXO Labs展示AI普及新可能

　　近日，一个名为EXO Labs的组织在社交媒体上发布了一段视频，展示了一台运行Windows 98系统的26年高龄奔腾II电脑成功运行大型语言模型(LLM)的情形。这台350MHz的Elonex奔腾II电脑配备了128MB内存，通过定制的纯C推理引擎，成功生成了一个关于“Sleepy Joe”的故事，整个过程运行流畅，生成速度令人惊讶。

　　EXO Labs由牛津大学的研究人员和工程师组成，其使命是“普及人工智能”。该组织认为，少数大型企业控制人工智能会对文化、真相以及社会其他基本方面造成负面影响。因此，EXO Labs致力于构建开放的基础设施，使任何人都能在任何设备上训练和运行AI模型。此次在Windows 98上运行LLM的壮举，正是对这一理念的有力证明。

　　为了实现这一目标，EXO Labs从eBay上购得了一台老式Windows 98电脑，并通过以太网端口使用“古老的FTP”完成了文件传输。更大的挑战在于为Windows 98编译现代代码，幸运的是他们找到了Andrej Karpathy的llama2.c，这是一个“用700行纯C代码即可在Llama 2架构的模型上运行推理”的工具。借助这一资源以及老式的Borland C++ 5.02 IDE和编译器，EXO Labs成功将代码编译成可在Windows 98上运行的可执行文件，并在GitHub上公开了最终代码。

　　EXO Labs的Alex Cheema特别感谢了Andrej Karpathy的代码，并对其性能赞叹不已，称其在使用基于Llama架构的26万参数LLM时，在Windows 98上实现了“每秒35.9个token”的生成速度。虽然26万参数的LLM规模较小，但在这台古老的350MHz单核电脑上运行速度相当不错。

　　EXO Labs的目标远不止于在Windows 98机器上运行LLM。他们在博客文章中进一步阐述了其对未来的展望，并希望通过BitNet实现人工智能的普及。BitNet是一种使用三元权重的transformer架构，使用这种架构，一个70亿参数的模型只需要1.38GB的存储空间，这对于现代硬件甚至十年前的设备来说都非常轻量级。此外，BitNet是“CPU优先”的，避免了对昂贵GPU的依赖，据称这种类型的模型比全精度模型效率高50%，并且可以在单个CPU上以人类阅读速度运行一个1000亿参数的模型。