毕尔巴鄂对阵皇家社会:两支近邻球队将于西甲联赛 “巴斯克德比”中为捍卫荣耀而战贝壳第三季度营收226亿元 经调净利润17.8 亿元 同比下降17.46%AI营销,让科技巨头尝到了大模型商业化的甜头安恒信息范渊在乌镇峰会谈AI:以工具视之、以工具用之、以工具治理之诺基亚与微软再合作,为 Azure 数据中心供货延长五年天岳先进发布业界首款 300mm(12 英寸)N 型碳化硅衬底三星介绍内部安全团队 Project Infinity 攻防演练项目,高效修复 Galaxy 手机平板漏洞上海市将推进低空飞行服务管理能力建设,2027 年底前累计划设相应航线不少于 400 条岁末,海尔给您备好一套“小红花”为什么说Q10K Pro是今年最值得入手的电视?看完这几点就明白了!“小墨方·大不凡”!Brother“小墨方”系列彩喷一体机全新上市黄仁勋:AI智能需求强劲,“物理定律”限制英伟达芯片增长诺基亚与微软再合作,为Azure数据中心供货延长五年国家数据局:到2029年基本建成国家数据基础设施主体结构中国已发展成为全球最大的互联网市场,拥有全球最多的网民和移动互联网用户中国铁塔:计划按照10:1的比例合股美国FCC正式划定5.9GHz频段用于C-V2X技术在AI领域奋起直追!苹果要对Siri大革新 2026年正式发布日本机构公布量子专利榜单:本源量子、国盾量子位居全球第1中国联通:拟向华为、中兴展开5G网络设备竞争性谈判采购
  • 首页 > 云计算频道 > 大模型

    Together AI发布AI模型StripedHyena-7B 性能超越Llama-27B

    2023年12月13日 21:32:03   来源:站长之家

      Together AI最新发布了StripedHyena-7B,这一人工智能模型领域的创新力量引起了广泛关注。该模型的基础版本为StripedHyena-Hessian-7B(SH7B),同时还推出了聊天模型StripedHyena-Nous-7B(SH-N7B)。StripedHyena基于上一年创建的一系列有效的序列建模架构(如H3、Hyena、HyenaDNA和Monarch Mixer)的重要经验教训。

      研究人员强调,StripedHyena在训练、微调和生成长序列过程中处理效率更高,具备更快的速度和更高的内存效率。通过采用独特的混合技术,StripedHyena将门控卷积和注意力结合成了所谓的Hyena运算符。在短序列任务中,包括OpenLLM排行榜任务,StripedHyena在性能上超越了Llama-27B、Yi7B以及最强大的Transformer替代品,如RWKV14B。

      该模型在处理短序列任务和处理长提示的各种基准测试中都进行了评估。通过对Project Gutenberg书籍进行的困惑度缩放实验显示,困惑度在32k处饱和,或在此点以下减少,表明该模型能够从更长的提示中吸收信息。

      StripedHyena通过将注意力和门控卷积组合成Hyena运算符的独特混合结构实现了高效性。研究人员采用创新的嫁接技术对这种混合设计进行了优化,使其在训练过程中能够进行体系结构修改。

      研究人员强调StripedHyena的关键优势之一是其在训练、微调和生成长序列等各种任务中的提速和内存效率。在端到端训练的32k、64k和128k行上,StripedHyena相对于优化的Transformer基线(使用FlashAttention v2和自定义内核)分别提高了30%、50%和100%。

      未来,研究人员希望在StripedHyena模型的多个领域取得重大进展。他们计划构建更大的模型,以处理更长的上下文,拓展信息理解的界限。此外,他们计划引入多模态支持,通过允许模型处理和理解来自文本和图像等各种来源的数据,提高模型的适应性。

      StripedHyena模型有望通过引入额外的计算(例如在门控卷积中使用多个头部)在性能上超越Transformer模型。这种受线性注意力启发的方法在H3和MultiHyena等架构中被证明在训练期间提高模型质量,并为推断效率提供优势。读者可以查看该项目的博客和项目详细信息,对此研究给予所有研究人员应有的赞誉。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。