开源版OpenAI再出「神作」，小模型吊打Llama 3！Ministral系列问世，边缘AI革命开启

　　【新智元导读】Mistral7B诞生一周年之际，法国AI初创公司Mistral再次连发两个轻量级模型Ministral3B和Ministral8B，性能赶超Llama38B。

　　Mistral7B仅仅发布一周年，法国AI初创小模型「les Ministraux」就打败它了。

　　它堪称是，世界上最好的边缘模型。

　　Ministral3B和Ministral8B这两款轻量级模型，专为边缘设备打造。

　　截至目前，它们正式加入Mixtral、Pixtral、Codestral、Mathstral行列，成为Mistral一员。

　　别看仅有30亿参数，在指令跟随基准上，完全超越了Llama38B，以及前辈模型Mistral7B。

　　而且Ministral3B和Ministral8B在大模型竞技场中的测试，均拿下了媲美Gemma2、Llama3.1开源模型的成绩。

　　世界上最好的边缘模型

　　Ministral3B和Ministral8B都支持高达128k上下文(目前在vLLM上为32k)。

　　在知识、常识、推理、函数调用、效率等方面，为低于10B参数模型设立了新标杆。

　　而且，Ministral8B还有配备了滑动窗口注意机制(sliding-window attention)，以实现更快和内存高效的推理。

　　不论是管理复杂的AI智能体工作流，还是创建专门的任务助手，它们均可以被微调到各种用例中。

　　赶超开源模型，击败Mistral7B

　　研究人员在多项基准测试中，评估了Les Minimrau的性能。

　　其中包括知识与常识、代码、数学、多语言四大方面。

　　预训练模型

　　如下图所示，与Gema22B、Llama3.23B相比较，Minstral3B在以上基准上，取得了最优成绩。

　　在与Llama3.18B、Mistral7B相比较过程中，仅有代码能力，Minstral8B还有些差距，其余放方面均是性能最高的模型。

　　如下是，更加直观可视化柱状图，Minstral8B在各项评测中，占据首位。

　　指令模型

　　再来看微调后的指令模型，性能比较的结果。

　　在大模型竞技场中，Minstral3B在不同基准上，实现了最优。Minstral8B仅在Wild bench上，略逊于Gema29B。

　　另外，在代码、数学、函数调用方面，两款新模型性能大幅超越其余模型。

　　下图，可以直观看出指令微调后的Minstral3B比更大的Mistral7B的改进。

　　如下是指令微调后的Minstral8B模型，与其他模型的性能对比直观图。

　　边缘计算皆可用，0.1美金百万token

　　如今，大模型在实际落地中，不如小模型来的更切实际。

　　越来越多的用户，希望对关键应用程序能够进行本地优先推理，比如设备上翻译、不用联网智能助理，自动机器人等等。

　　正如官博所述，Les Minimraux正为这些场景，提供了高计算效率、低延迟的解决方案。

　　当与Mistral Large等更大的模型结合使用时，les Ministraux还可以作为多步智能体工作流中，进行函数调用的高效中介。

　　通过微调，它们能以极低的延迟和成本基于用户意图，跨多个上下文处理输入解析、任务路由和调用API。

　　价格

　　根据官方公布的价格所示，Minstral8B输入输出价格为百万token，0.1美元。Minstral3B则为百万token0.04美元。

　　开源版OpenAI，不再Open

　　自去年成立以来，Mistral曾以磁力链方式开源了多款媲美OpenAI的模型，一路走红得到AI社区的认可。

　　这家总部位于巴黎的Mistral，由Meta、谷歌DeepMind前员工创立。

　　几个月前，它以60亿美金估值，完成6.4亿美元新一轮融资，并随之推出了一款GPT-4级别的模型——Mistral Large2。

　　此外，他们在今年，还推出了一个专家混合模型Mixtral8x22B。

　　它包含了一个编码模型Codestral，以及一个数学推理和科学发现的模型。

　　不过，今年这家明星公司陷入了巨大争议，因为它变得不再那么open。

　　年初，有消息爆料称，微软宣布将收购Mistral一些股份，并对其投资，意味着它的模型将在Azure AI进行托管。

　　甚至，还有Reddit网友发现，Mistral已从官网中，移除了致力于开源的承诺。

　　在一些模型的调用上，Mistral也开启了收费模式，包括这次同样如此。

　　有网友就此吐槽，不是开源的。

　　要知道，对于一家初创公司来说，一直坚持开源代码是一个巨大的挑战。

　　就比如反面教材Stability AI，完全放弃了开源的商业模式，也转向了收费策略。

　　对于Mistral也是如此，若要持续打造优秀的模型，只有这一种选择。