Together AI最新发布了StripedHyena-7B,这一人工智能模型领域的创新力量引起了广泛关注。该模型的基础版本为StripedHyena-Hessian-7B(SH7B),同时还推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年创建的一系列有效的序列建模架构(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要经验教训。
研究人员强调,StripedHyena在训练、微调和生成长序列过程中处理效率更高,具备更快的速度和更高的内存效率。通过采用独特的混合技术,StripedHyena将门控卷积和注意力结合成了所谓的Hyena运算符。在短序列任务中,包括OpenLLM排行榜任务,StripedHyena在性能上超越了Llama-27B、Yi7B以及最强大的Transformer替代品,如RWKV14B。
该模型在处理短序列任务和处理长提示的各种基准测试中都进行了评估。通过对Project Gutenberg书籍进行的困惑度缩放实验显示,困惑度在32k处饱和,或在此点以下减少,表明该模型能够从更长的提示中吸收信息。
StripedHyena通过将注意力和门控卷积组合成Hyena运算符的独特混合结构实现了高效性。研究人员采用创新的嫁接技术对这种混合设计进行了优化,使其在训练过程中能够进行体系结构修改。
研究人员强调StripedHyena的关键优势之一是其在训练、微调和生成长序列等各种任务中的提速和内存效率。在端到端训练的32k、64k和128k行上,StripedHyena相对于优化的Transformer基线(使用FlashAttention v2和自定义内核)分别提高了30%、50%和100%。
未来,研究人员希望在StripedHyena模型的多个领域取得重大进展。他们计划构建更大的模型,以处理更长的上下文,拓展信息理解的界限。此外,他们计划引入多模态支持,通过允许模型处理和理解来自文本和图像等各种来源的数据,提高模型的适应性。
StripedHyena模型有望通过引入额外的计算(例如在门控卷积中使用多个头部)在性能上超越Transformer模型。这种受线性注意力启发的方法在H3和MultiHyena等架构中被证明在训练期间提高模型质量,并为推断效率提供优势。读者可以查看该项目的博客和项目详细信息,对此研究给予所有研究人员应有的赞誉。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。