近日,ETH Zurich的研究人员成功推出了一项创新性的技术——UltraFastBERT,该技术通过在推理过程中仅使用0.3%的神经元,实现了与其他类似BERT模型相当的性能水平。这一创新主要通过引入快速前馈网络(FFFs)来解决在推理过程中减少神经元数量的问题,相较于基准实现,取得了显著的速度提升。
研究人员提供了代码、基准设置以及模型权重,支持了这一方法的有效性。他们建议进一步探索通过混合稀疏张量和设备特定优化,以及在大型语言模型中应用多个FFF树的潜在性能提升。
UltraFastBERT在推理过程中展现了高效的语言建模,通过将传统模型的前馈网络替换为简化的FFFs,使用一致的激活函数和所有节点输出权重,同时消除了偏差。多个FFF树协同计算中间层输出,允许多样化的架构。所提供的高水平CPU和PyTorch实现显著提升了速度,而研究还探讨了通过多个FFF树和替换大型语言模型前馈网络为FFFs,实现潜在加速的可能性。为设备特定优化,建议使用Intel MKL和NVIDIA cuBLAS。
UltraFastBERT不仅在推理中仅使用0.3%的神经元的情况下实现了与BERT-base相当的性能,而且在仅使用单个GPU进行一天训练的情况下,仍保持至少96.0%的GLUE预测性能。研究还展示了通过快速前馈层实现显著的速度提升,达到48倍到78倍的CPU上的即时推理速度提升,以及GPU上的3.15倍速度提升,表明在替换大型模型方面存在潜在可能性。
总体而言,UltraFastBERT是对BERT的修改,实现了在推理过程中仅使用少量神经元的高效语言建模。该模型通过FFFs实现了显著的速度提升,提供的CPU和PyTorch实现分别实现了78倍和40倍的速度提升。研究建议通过实现有条件神经执行的基元,进一步加速语言建模。尽管仅使用0.3%的神经元,UltraFastBERT的最佳模型与BERT-base的性能相当,展示了高效语言建模的潜力。UltraFastBERT展示了高效语言建模的潜在进展,为未来更快、资源友好的模型铺平了道路。
未来研究的建议包括使用混合向量级稀疏张量和设备特定优化实现高效的FFF推理,探索有条件神经执行加速语言建模的全部潜力,以及通过将前馈网络替换为FFFs优化大型语言模型的潜在性。未来的工作可能着重于在流行框架如PyTorch或TensorFlow中实现可重现的模型,并进行广泛的基准测试,以评估UltraFastBERT及类似高效语言模型的性能和实际影响。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。