谷歌利用小模型加速AI训练大模型，提升28% 效率

2025年01月07日 16:11:05 来源：Citnews中文科技资讯

　　谷歌推出的SALT方法通过引入小型语言模型辅助训练大型模型，显著提高了训练效率和性能。

　　该方法采用两阶段训练过程，首先通过知识蒸馏让小型模型传递知识，然后大型模型进行自我监督学习。

　　实验显示，使用SALT方法可以将大型模型的训练时间缩短28%，并在多个任务上取得了显著的准确率提升。

　　SALT方法将大型模型的训练时间缩短28%，显著降低计算成本。

　　小型模型通过知识蒸馏显著提升大型模型在复杂任务上的表现。

　　SALT的创新降低了AI开发的门槛，促进更多小型机构参与AI研究。

　　文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。

即时

2024年的Adobe MAX 2024发布会上，Adobe推出了最新版本的Adobe Creative Cloud。

奥维云网(AVC)推总数据显示，2024年1-9月明火炊具线上零售额94.2亿元，同比增加3.1%，其中抖音渠道表现优异，同比有14%的涨幅，传统电商略有下滑，同比降低2.3%。

“以前都要去窗口办，一套流程下来都要半个月了，现在方便多了!”打开“重庆公积金”微信小程序，按照提示流程提交相关材料，仅几秒钟，重庆市民曾某的账户就打进了21600元。

华硕ProArt创艺27 Pro PA279CRV显示器，凭借其优秀的性能配置和精准的色彩呈现能力，为您的创作工作带来实质性的帮助，双十一期间低至2799元，性价比很高，简直是创作者们的首选。

9月14日，2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。