• 首页 > 云计算频道 > 大模型

    微软研究人员指出,并非所有token都符合需求

    2024年04月12日 16:27:02   来源:站长之家

      微软研究人员挑战了语言模型(LM)预训练的传统方法,该方法在训练语料库中的所有token上均匀应用下一个token预测损失。相反,他们提出了一种新的语言模型称为 RHO-1,该模型利用选择性语言建模(SLM)。

      RHO-1方法通过选择性训练与所需分布一致的有用token,而不是尝试预测每一个下一个token。他们引入了 Rho-Math-v0.1模型,其中 Rho-Math-1B 和 Rho-Math-7B 在 MATH 数据集上分别实现了15.6% 和31.0% 的少样本准确率,仅使用预训练token的3% 与 DeepSeekMath 相匹配。

      Rho-Math-1B-Interpreter 是第一个在 MATH 数据集上实现超过40% 准确率的1B LLM。

      Rho-Math-7B-Interpreter 在 MATH 数据集上实现52% 的准确率,仅使用69k 个样本进行微调。

      RHO-1的 SLM 方法涉及使用参考模型对预训练token进行评分,并使用更加专注的损失对具有更高多余损失的token进行语言模型训练。这种选择性过程使 RHO-1能够在持续预训练15B OpenWebMath 语料库时,将9个数学任务的少样本准确率提高高达30%。

      该模型在微调后在 MATH 数据集上实现了最先进的结果,并且在80B 通用token预训练时,在15个不同任务中平均提升了6.8%。

      传统的训练方法通常使用启发式和分类器在文档级别上过滤数据,以提高数据质量和模型性能。然而,即使高质量的数据集可能包含对训练产生负面影响的嘈杂token。

      SLM 方法直接解决了这个问题,通过专注于token级别,并在预训练期间消除不需要的token损失。

      在研究中,SLM 在预训练期间选择的token与数学相关,有效地调整了模型对原始语料库的相关部分。研究人员在各个检查点中调查了token过滤,发现后续检查点选择的token倾向于在训练的后期具有更高的困惑度,并在早期具有更低的困惑度。

      讨论部分强调了未来的工作,包括将 SLM 推广至数学领域以外的领域,将该技术扩展至更大的模型和数据集,以及探索在评分token时是否需要训练参考模型。

      对 SLM 的改进可能包括重新加权token而不是选择它们,以及使用多个参考模型减少过拟合。

      SLM 可以扩展到监督微调,以解决数据集中的噪声和分布不匹配,并通过训练一个强调帮助性、真实性和无害性的参考模型来获得在预训练期间获得本地对齐的基本模型。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时探行数字人注册免费试用

    华为Pura70 系列不怕丢!云空间实现楼层级设备查找

    华为 Pura70 系列突然先锋开售,你抢到了吗?对于这次的新机来说,除了一如既往的优雅设计和强悍的硬件配置外,我们更为关注的则是其全球首发的「楼层级设备查找」功能,软实力也可以很硬核!

    新闻探行AI智能外呼系统 节省80%人力成本

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT探行AI客服 24小时无休机器人接待

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    研究探行AI整体解决方案 全国招募代理

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。