字节跳动豆包大模型团队发布全新稀疏架构 UltraMem 推理速度提升2-6倍

　　字节跳动豆包大模型团队今日宣布推出全新的稀疏模型架构 UltraMem。该架构有效解决了 MoE(专家混合)推理时的高额访存问题，使得推理速度较 MoE 架构提升了2-6倍，推理成本最高可降低83%。

　　UltraMem 通过将计算和参数解耦，在保证模型效果的前提下显著优化了推理性能。实验结果显示，训练规模达2000万 value 的 UltraMem 模型在同等计算资源下实现了业界领先的推理速度和性能，为构建数十亿规模 value 或 expert 开辟了新路径。

　　此外，UltraMem 的 Scaling Law 研究表明其具备优异的扩展特性，并且在常见 batch size 规模下，其访存成本几乎与同计算量的 Dense 模型相当。这一创新有望大幅降低大规模语言模型(LLM)的推理成本，提高处理效率。