越南开发者成功在树莓派 Zero 上本地运行大语言模型

　　近年来，本地运行大语言模型(LLM)的趋势日益增长，越南开发者 Binh Pham 近期通过创新实验，成功在树莓派 Zero 上实现了这一目标。Pham 将这款设备改造为小型 USB 驱动器，使其能够离线运行 LLM，无需额外设备支持。这一项目依赖于 llama.cpp 和 llamafile 的轻量级软件包，旨在提供离线聊天机器人体验。

　　然而，树莓派 Zero 的硬件性能有限，尤其是其 ARMv6 架构和仅 512MB 的内存，给移植 llama.cpp 带来了巨大挑战。Pham 通过修改源代码，移除了基于现代硬件的优化，最终成功运行了 LLM。他构建了一个基于文本文件输入的 LLM 实现，并测试了多个模型的性能。结果显示，尽管设备能够运行 LLM，但处理速度较慢，例如 Lamini-T5-Flan-77M 模型的每个 token 处理时间达 2.5 秒。

　　这一实验虽然具有创新性，但在实际应用中，使用老旧轻量级硬件运行 LLM 仍存在明显局限性。未来，采用性能更强的设备或许是更优选择。