亚马逊祭出地表最强全家桶，多模态Nova却败给Claude 3.5！

　　围剿英伟达，数十万颗自研二代芯片超算在建!亚马逊祭出地表最强全家桶，多模态Nova击败GPT-4o。

　　就在刚刚，亚马逊推出了号称最强大的多模态模型Nova系列。

　　在多项基准测试中，最强的Nova Pro成功超越了GPT-4o，仅次于Gemini1.5Pro、Claude3.5Sonnet。

　　相较之下，Nova Lite和Nova Micro，就要比同级竞品差上不少了。

　　不过，它的价格非常便宜——每百万token的输入价格低至0.0175美元，输出价格低至0.07美元。

　　性能的提升，让Amazon Nova可以处理复杂推理任务。比如分析复杂文档、视频，理解图表、示意图，生成高质量的视频内容，还能构建高级AI智能体。

　　这次推出的Amazon Nova全家桶如下:

　　Amazon Nova Micro，纯文本模型，以极低的成本提供最低的延迟响应

　　Amazon Nova Lite，成本极低的多模态模型，处理图像、视频和文本输入的速度快如闪电。

　　Amazon Nova Pro，功能强大的多模态模型，针对各类任务的准确性、速度和成本的最佳组合

　　Amazon Nova Premier，系列中复杂推理性能最强的多模态模型，也是支持蒸馏自定义模型的最佳教师模型

　　Amazon Nova Canvas，SOTA图像生成模型

　　Amazon Nova Reel，SOTA视频生成模型

　　简单的提示「dolly forward」，Amazon Nova Reel就能将单个图像输入转换为简短视频

　　创造力爆棚，视频理解惊艳

　　Amazon Nova的创意生成模型，直接让卖家和广告商的广告创意提升到全新的水平。

　　平均来看，使用这些工具的品牌广告宣传的产品数量直接增加了五倍，每个宣传产品使用的图片数量增加了一倍，这样就把预算省到了更需要的地方。

　　比如下面这个Amazon Nova Reel为某个虚构的意面品牌制作的广告，简直太惊艳了。

　　在一座「意大利面城」中，建筑由高耸的意大利肉卷面条管雕刻而成，街区点缀着意大利香料景观，街道两旁摆满了美味的马里纳拉酱、螺丝粉面条和嫩肉丸

　　Amazon Nova Pro的视频理解能力也是一绝。

　　研究者要求模型观看一场足球比赛的无声视频片段，然后把比赛内容描述一遍。

　　结果，模型一口气准确说出了赛制、球服、球员行动描述以及比赛如何达到高潮的详细信息!

　　视频描绘了一场在绿地上正在进行的足球比赛。两队的球员，一队身穿黄色队服，另一队身穿白色队服，正在比赛。黄队四分卫将球传给接球手，接球手接住球并开始向前跑动。白队的防守队员追赶他，试图阻止他。这场比赛的高潮是一次铲球，将接球手放倒在场上

　　多模态实现SOTA

　　接下来，我们详细看一下全家桶中几大成员的详细信息。

　　Amazon Nova Pro:自研最强多模态

　　Amazon Nova Pro能够处理多达30万个输入token，并为多模态智能体工作流设定了新标准，这些工作流需要调用API和工具来完成复杂的工作流。

　　使用Amazon Nova模型执行智能体工作流:智能体可以规划并执行多步动作，利用浏览器和基于屏幕的用户界面作为通用工具来自动化终端客户的任务

　　它在视觉问题解答(TextVQA)和视频理解(VATEX)等关键基准上都实现了最先进的性能。

　　在输入300K token的情况下，它可以处理超过一万五千行代码的代码库。Amazon Nova Pro还可作为教师模型，用于蒸馏Amazon Nova Micro和Lite的自定义变体。

　　Amazon Nova Lite:主打一个性价比

　　Amazon Nova Lite可以高精度处理实时客户交互、文档分析和可视化问题解答任务。

　　该模型可处理长达300K token的输入，并能在单次请求中分析多张图像或长达30分钟的视频。

　　Amazon Nova Lite还支持文本和多模态微调，并可通过模型蒸馏等技术进行优化，为用户的使用案例提供最佳的质量和成本。

　　Amazon Nova Micro:纯文本

　　Amazon Nova Micro的上下文长度为128K，并针对速度和成本进行了优化，在文本摘要、翻译、内容分类、交互式聊天和头脑风暴以及简单的数学推理和编码等任务中表现出色。

　　Amazon Nova Micro还支持使用微调和模型蒸馏对专有数据进行定制，以提高准确性。

　　将概念变为现实

　　Amazon Nova系列还包括两款创意内容的生成式模型，Amazon Nova Reel和Amazon Nova Canvas。

　　Amazon Nova Canvas:图像生成

　　这是一个先进的图像生成模型，可生成工作室水准级别的图像，并可精确控制样式和内容，包括丰富的编辑功能，如修复、扩图和背景移除。

　　Amazon Nova Reel:视频生成

　　Amazon Nova Reel支持用户通过文本提示和图像来控制视觉风格和节奏，并生成专业品质的视频内容，用于营销、广告和娱乐。

　　价格再便宜75%，还能微调和蒸馏

　　Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro的价格，比Amazon Bedrock中各自智能类别中性能最佳的模型至少还要便宜了75%。

　　而且，它们也是相比之下最快的模型。

　　这些模型与Amazon Bedrock集成，是一项支持完全托管的服务，可通过单个API使用来自领先AI公司和亚马逊的高性能基础模型。

　　而且，模型还支持自定义微调，允许客户将模型指向自己专有数据中的示例，因为这些示例已被标记，所以提高了准确性。

　　这样，Amazon Nova模型可以从客户自己的数据(包括文本、图像和视频)中了解对客户最重要的内容，然后由Amazon Bedrock训练一个私人微调模型，提供量身定制的响应。

　　除了支持微调之外，这些模型还支持蒸馏，从而能够将特定知识从更大、能力更强的「教师模型」转移到更小、更高效的模型，后者不仅高度准确，而且运行速度更快、成本更低。

　　并且，Amazon Nova模型与Amazon Bedrock知识库集成，还擅长RAG，就能让响应基于客户组织的内部数据，来保证最佳的准确性。

　　因为模型已经过优化，在代理性应用中非常易于使用，还能通过多个API与组织的专有系统和数据进行交互，从而执行多步骤任务。

　　围剿英伟达，争夺AI芯片之王

　　在当下最炙手可热的AI芯片赛道中，挑战者们正上演着一场激烈的「造芯」革命。

　　据市场研究机构Omdia的数据显示，在人工智能计算领域，数据中心运营商在非英伟达芯片计算机上的支出预计将于今年增长49%，总额达到1，260亿美元。

　　这个数字，无疑释放出了芯片市场潜力无限的信号。

　　AI推理，弯道超车

　　多年来，英伟达在AI芯片领域一家独大，尽管其他公司不断尝试，但始终未能撼动其霸主地位。

　　但如今，局面正在发生改变。「推理计算」成为这场AI技术革命的关键词。

　　无论是科技巨头，还是小型初创，瞄准了为AI研发定制芯片的赛道，比如Groq、Cerebras Systems等等。

　　Meta就是一个典型案例。虽然他们使用英伟达芯片训练了Llama3.1405B，但在实际为用户提供服务时，采用的是AMD MI300s芯片。

　　不仅如此，这些新晋玩家们从英伟达身上学到了一课:单纯卖芯片完全不够了。他们开始筹谋提供完整的计算方案，让客户充分发挥AI芯片的最大潜能。

　　比如，AWS就在刚刚举办的re:Invent大会上，宣布了基于Trainium2芯片的计算服务正式上线。并同时公布了性能更为强大的Trainium3芯片的研发计划。

　　Amazon EC2Trn2UltraServers是全新推出的EC2产品，配备64个互联的Trainium2芯片。

　　它由四台服务器构成，每台服务器装配16枚Tranium芯片。(英伟达最多为8枚)

　　服务器之间使用超高速的NeuronLink互连，最大可扩展到83.2个峰值千万亿次计算(petaflops)，是单个实例计算、内存和网络能力的四倍，这使得训练和部署全球最大模型成为可能。

　　亚马逊表示，这已经是Ultraserver在保证散热安全的前提下所能达到的最大配置。

　　这些还不够，AWS正在和Anthropic合作进行「Ultracluster」超级计算机计划。

　　他们正在构建一个由Trn2UltraServers组成的EC2UltraCluster，并将其命名为「Project Rainier」。

　　这个被命名为「Project Rainier」的集群配备数十万个Trainium2芯片，计算能力是当前领先AI模型训练需求的五倍多。

　　AWS计算和网络服务部门副总裁戴夫·布朗透露，这个集群将建设在美国境内，预计在2025年投入使用。

　　它将跻身全球最大规模的AI模型训练集群之列。

　　虽然亚马逊早期推出的AI芯片，包括第一代Trainium在内，并未在市场上获得显著反响。

　　但是对于新一代的Trainium2芯片，亚马逊展现出了更强的信心——其运算速度较前代产品提升了四倍。

　　并且，苹果也将成为其最新芯片客户之一。类似的，AMD也宣布将于明年推出新一代AI芯片，直接与英伟达的Blackwell系列展开竞争。

　　目前，工程师们已经开始对芯片进行全方位的测试。

　　一年前发布的MI300的AI芯片，当年就创造了超500亿美元销量

　　与此同时，谷歌、微软和Meta等科技巨头也都在开发自己的人工智能专用芯片，旨在提升特定计算任务的处理速度并降低运营成本。

　　本月，谷歌将开始推出基于其第六代自研芯片Trillium的云服务，该芯片的性能较前代产品提升了近5倍。

　　不过，这些公司仍在使用英伟达芯片构建大规模计算集群。

　　老黄:免费送，也没用

　　尽管AI芯片新秀们群雄逐鹿，但这并不意味着英伟达即将会失去霸主地位。

　　黄仁勋曾在斯坦福大学演讲台上，掷地有声地表示，「即便竞争对手的芯片免费赠送，在性价比上仍然无法与我们相提并论」。

　　这句话，道出了英伟达十足的底气。

　　毕竟，如今市场中，在人工智能软件和推理计算方面，能打的芯片非英伟达莫属。

　　黄仁勋进一步指出，虽然新一代Blackwell人工智能芯片的能耗有所提升，但其单位能耗的计算效率大幅提高。目前市场对这款芯片的需求异常火爆。

　　另有据场研究机构IDC统计数据佐证了这一点。

　　数据显示，2024年全球人工智能半导体市场规模预计将达到1，175亿美元，并预计在2027年底进一步扩大至1，933亿美元。

　　IDC在2023年12月发布的最新研究报告显示，英伟达当前在AI芯片市场中占据着约95%的主导地位。