大模型路线之争MoE获胜，国内MoE谁最强？

　　英伟达暴跌了。

　　4月19日一开盘，英伟达遭遇2024年以来最大规模的股票恐慌性抛售，最终出现股价下跌10%，市值消失1.5万亿人民币的悲剧。

　　更关键的是，海外部分AI玩家烧不起钱了，尤其是那些基于llama 2和3开源模型的公司，用的transformer架构，成本太贵。再加上一些悄悄研发自己大模型的厂商(比如苹果)也开始撤出。这些信息的叠加，引发机构投资者对完全依靠资源堆积的大模型发展模式感到担忧，最终导致英伟达股价下跌。

　　富国银行分析师莱恩.克里对外表示，英伟达出现恐慌式抛售不奇怪，“资本市场在进入2024年后，其实一直对AI硬件股票小心谨慎。原因在于大家觉得一方面他们估值过高，另一方面其实是目前主流的几家大模型，都没有找到可持续的变现途径，支撑不起庞大且长期不变的硬件投入。”

　　实际上，这已经成为资本市场的共同认知。所以，对于这几家AI硬件龙头股票，机构投资者在进入2024年后，都视作是一场“击鼓传花”游戏。

　　当然，资本也开始对新的技术模式展开探讨，比如MoE专家网络以及去二次方大模型架构等等。尤其是MoE，因为技术的可持续性，被认为是下阶段大模型发展破局的突破口，资金开始疯狂进入。

　　于是，行业产生一系列问题需要回答：这到底是怎么发生的?大模型还有未来吗?未来又在哪里?MoE是什么?谁能代表MoE扛起AI大旗?

　　1、巨头的无奈

　　为什么大家开始认为以英伟达算力芯片为核心的AI硬件，变成击鼓传花的游戏?原因就在于英伟达每升级一个版本，其相关芯片的价格就会暴涨几倍。

　　英伟达A100算力芯片在中国市场备受瞩目，2021年上市后大规模出口中国，成为AI和大模型应用的基础算力。初期定价为3000-5000美元，随后价格上涨至8000美元。

　　2022年底，美国禁令限制向中国出口A100，导致定制版A800价格飙升至10000美元以上。英伟达随后发布的H100芯片起售价接近2万美元，而GB200芯片组起售价在3-4万美元。

　　在国外社交媒体上，有人戏称英伟达“技术进步以涨价为本”。

　　其实英伟达有自己的无奈，中国市场顶峰时曾占英伟达1/4的份额，目前因为政治因素已经下降到不到4%，这中间巨大的市场缺失不得不通过新产品涨价来弥补。

　　但不断上涨的算力芯片价格，也让那些开发大模型的互联网巨头开始吃不消。

　　当下最主要的这些互联网巨头推出的模型，大部分使用的都是transformer模型架构。而这个架构是2017年由Google团队在论文《Attention Is All You Need》中提出以来，已成为自然语言处理(NLP)领域的核心技术之一。

　　这个架构有很多好处，但最大的缺点就是必须不断投入大量的运算资源，以支撑模型的训练和对外提供服务。纽约时报曾爆料，OpenAI支撑ChatGPT对外提供服务，需要使用3万块英伟达A100的算卡，而且每天的耗电超过50万度。

　　想想都觉得可怕。

　　英伟达一直在寻求解决方案以降低互联网巨头使用Transformer模型训练和推理的成本。黄仁勋表示，英伟达的芯片进化正是为此目的。随着算力芯片性能的提升，成本有望进一步下降。

　　问题是由于巨头间的激烈竞争，模型训练和推理能力需持续增强，这推动了英伟达最新算卡出货量的大幅增长。

　　另一方面，无论是引领潮流的OpenAI与ChatGPT，还是Meta、谷歌、马斯克推出的开源大模型，都未找到稳定的商业化道路。

　　OpenAI在推出GPT4之前，据说每月收入不足成本的1/3。面临商业模式不清晰、收入无法覆盖成本的困境，以及英伟达年年涨价的事实，互联网巨头管理层开始反思这种以资源投入和算卡堆砌推动模型发展的模式。

　　2、MoE成为解题关键

　　对于这些推出大模型服务的互联网科技巨头来说，想解决英伟达算卡涨价带来的成本支出不可持续问题，有两个解决方向。

　　一个是自研算力芯片。近年来，多家科技巨头如微软、OpenAI、Meta、马斯克，以及谷歌和亚马逊等，均宣布了自研芯片计划或已制作出样片。然而，自研算力芯片需要进行后期对接效果调整，并摆脱英伟达的CUDA重新制作中间层，这导致时间成本难以估量。

　　因此，另一个解题方向就被他们异常重视，希望通过改变模型底层架构，换一种不耗费那么多资源就可以达到很好训练和推理效果的模型架构，来开发自己的大模型。

　　而在硅谷，确实有这么一种模型架构在这两年被人不断提起，甚至在很多中小模型开发方的实践中，得到了印证。

　　这就是MoE。

　　其实在更早一些的时间，MoE一直被应用于统计学的研究中。这是一种机器学习模型架构，它将多个专家(Experts)模型组合起来，共同解决一个问题。每个专家都是一个小型的神经网络，它们各自擅长处理任务的某一方面。当MoE模型接到一个任务时，它会将任务分配给最合适的专家，最后通过一个门控网络汇总专家的输出，给出最终答案。

　　这就像一家公司有多个部门，在做决策的时候，公司的CEO可以听从市场部、生产部、策划部甚至财务部相关专业领导的建议，最终产生最优的决策。

　　由于这种架构运营的核心，实际上是将大任务分成小任务，日常的训练也是针对于各个小神经网络的专家进行，所以他所需要的推理和训练资源远远低于整体运算的transformer架构。

　　关键在于这种架构对技术的理解和使用，切分任务和找到关键神经细分网络并训练专家模型是该架构成功的核心，这需要强大的技术实力。相较于不断增长的硬件投入，这种软性投入对大模型开发者来说更可接受。此外，MoE架构的特点有利于新兴大模型企业的发展壮大，因为它们可以通过技术理解和发展来突破现有巨头的硬件护城河。

　　正因为这样的一个特点，MoE开始成为大模型破局的关键。

　　3、国内其实一点也不慢

　　MoE作为统计学架构早在1997年就被提出，真正落实到自然语音学习是2018年以后的事情。

　　但由于这个架构有几个比较困难的训练难点，比如结果可能拟合，这意味着模型最终结果可能只是因为特定因素影响造成而无法广泛使用;再比如最后门框网络的采用过程中，有可能偏爱几个细分专家模型，而不能从整体的专家模型结果中获得结论等等。

　　所以，哪怕谷歌在研究中有了相应进展，MoE相对于Transformer架构，在模型发展的广泛性上远远不如。

　　真正让MoE模型架构照进现实的，是一篇2023年6月名为《MoE Meets Instruction Tuning》的论文。这篇论文提出了几种假设和相应的解决方案，从技术可行性上解决了MoE非常难以控制的特点。

　　MoE模型架构逐渐受到关注，成为许多新兴模型研发方的选择。2023年12月8日，Mistra AI在X平台发布了首个开源MoE模型，引起行业震动。与此同时，国内模型研发团队也迅速跟进，MiniMax宣布将于2024年年初发布基于MoE架构的大模型，新旦智能、元象科技等也相继加入，推动了MoE在国内的快速发展。

　　而业内普遍认同的MoE在中国发展标志事件，是今年2月6日，昆仑万维正式发布新版MoE大语言模型“天工2.0”与新版“天工AI智能助手”APP。这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。

　　其实，昆仑万维是国内最早投入精力研究MoE模型架构的平台公司。

　　这种一手抓技术，一手抓应用的模式，对于MoE模型架构在中国的普及才是最有意义的。毕竟任何一种新的技术，无论有多炸裂，只有大量的应用才能对于产业，以及人们的生活带来新的价值。

　　而很多时候有新价值产生，是衡量一个技术能否持续发展的关键。

　　2024年4月17日，昆仑万维重磅宣布，“天工3.0”正式开启公测。

　　“天工3.0”是采用4千亿级参数MoE混合专家模型的全球领先模型之一，并将开源。行业内现在一致认为，在国内MoE模型的排名里，昆仑万维的天工是第一位，字节豆包第二， Minimax第三。