字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型(MoE)架构的关键瓶颈，并开源一项名为COMET的重大优化技术。该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。
据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。与近期DeepSeek开源的DualPipe等MoE优化方案相比，COMET具有更强的兼容性和便捷性，能够像插件一样直接接入现有的MoE训练框架，支持业界主流大模型，无需对训练框架进行侵入式修改。
技术数据显示，引入COMET后，单个MoE层可实现1.96倍的加速，端到端平均效率提升1.71倍，且在不同并行策略、输入规模及硬件环境下均表现出稳定的性能。更值得关注的是，COMET还能够与DeepSeek的DualPipe方案联合使用，有望进一步大幅压缩模型训练成本。
这项技术的开源，无疑为大模型领域带来了新的突破，有望加速大模型的研发和应用。
文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。
奥维云网(AVC)推总数据显示，2024年1-9月明火炊具线上零售额94.2亿元，同比增加3.1%，其中抖音渠道表现优异，同比有14%的涨幅，传统电商略有下滑，同比降低2.3%。
“以前都要去窗口办，一套流程下来都要半个月了，现在方便多了!”打开“重庆公积金”微信小程序，按照提示流程提交相关材料，仅几秒钟，重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器，凭借其优秀的性能配置和精准的色彩呈现能力，为您的创作工作带来实质性的帮助，双十一期间低至2799元，性价比很高，简直是创作者们的首选。
京公网安备 11010502041587号