月之暗面发布Muon优化技术，Moonlight模型实现高效训练突破

　　月之暗面Kimi昨日发布了一份关于“Muon可扩展用于LLM训练”的新技术报告，并正式推出基于Muon训练的混合专家模型(MoE)“Moonlight”。该模型包含30亿和160亿参数两个版本，通过5.7万亿个token的训练数据，在更低浮点运算次数(FLOPs)下实现了更优性能，显著提升了帕累托效率边界。

　　月之暗面团队表示，Muon优化器通过添加权重衰减、精细调整参数更新幅度等技术，能够在大规模训练中开箱即用，无需超参数调优。实验表明，Muon的计算效率比AdamW高出约2倍。

　　此次发布的Moonlight-16B-A3B模型总参数量为15.29亿，激活参数为2.24亿，展示了Muon优化器在高效训练中的潜力。团队还开源了分布式版本的Muon实现，优化了内存使用和通信效率，并发布了预训练模型、指令调优模型及中间训练检查点，为后续研究提供支持。