• 老黄发布新核弹B300,英伟达:B200已破DeepSeek-R1推理世界纪录

    2025年03月19日 15:06:45   来源:量子位公众号

      皮衣老黄,带着最强AI芯片GB300闪亮登场“AI超级碗”GTC,燃爆全场!

      性能方面,和去年发布的GB200相比,推理性能是其1.5倍。

      据悉,GB300将在今年的下半年出货。

      除此之外,老黄还预览(2026年下半年发货)了英伟达下一代AI超级芯片,名字大变样——Vera Rubin

      其实它的命名规则和Grace Blackwell(GB)类似:Grace是CPU,Blackwell是GPU。

      而Vera Rubin中的Vera是CPU,Rubin是GPU。根据老黄的说法:

      几乎所有细节都是新的。

      从预览的性能来看,Vera Rubin整体性能更是GB300的3.3倍。更具体一些:

      Vera:CPU的内存是Grace的4.2倍,内存带宽是Grace的2.4倍。

      Rubin:将配备288GB的HBM4。

      在Vera Rubin之后的下一代GPU(2027年下半年),英伟达会将其命名为Rubin Ultra,性能直接拉到GB300的14倍

      大规模推理是一种极限计算。

      Inference at-scale is extreme computing.

      不仅如此,就连Rubin之后的下一代GPU,老黄也给亮出来了——将以Feynman来命名。

      而纵观整场GTC,我们可以轻松提炼老黄提及最多的几个关键词:tokens推理Agentic AI

      但除此之外,还有一个比较有意思的关键词——DeepSeek

      英伟达官方博客称:

      实现了DeepSeek-R1推理性能世界纪录。

      每个用户每秒可处理超过250个token;实现每秒超过30000个token的最大吞吐量。

      但这项纪录采用的是B200,英伟达表示随着Blackwell Ultra等新GPU的出现,纪录还将继续被打破。

      而老黄在现场体现传统LLM和推理LLM的区别时,也是拿着DeepSeek-R1来举例:

      嗯,微妙,着实有点微妙。

      那么除了一系列新GPU之外,还有什么?我们继续往下看。

      推出两款个人AI超级计算机

      首先,第一款个人AI超级计算机,叫做DGX Spark

      它就是老黄在今年1月份CES中发布的那个全球最小的个人AI超级计算机Project Digits,这次取了个正式的名字。

      DGX Spark售价3000美元(约21685元),大小和Mac Mini相当。

      它采用的是英伟达GB10芯片,能够提供每秒1000万亿次的AI运算,用于微调和推理最新AI模型。

      其中,GB10采用了NVLink-C2C互连技术,提供CPU+ gpu的相干内存模型,带宽是第五代PCIe的5倍。

      值得一提的是,英伟达官网已经开发预定了哦~

      至于第二款个人AI超级电脑,则是DGX Station

      DGX Station所采用的,正是今天推出的GB300,也是首个采用这款芯片的AI电脑。

      其性能如下:

      拥有784GB的相干内存空间

      拥有英伟达的ConnectX-8超级网卡,支持高达800Gb/s的网络速度

      拥有Nvidia的CUDA-X AI平台,可访问NIM微服务和AI Enterprise

      用老黄的话来说就是:

      这就是PC应该有的样子。

      This is what a PC should look like.

      至于上市赶时间,则是将于今年晚些时候从华硕、BOXX、戴尔、惠普、Lambda和美超微等厂商处推出。

      搭载GB300的DGX Station主板

      而根据英伟达官方的介绍,这两款个人AI超级计算机,是面向研究人员、数据科学家、AI开发者和学生设计的。

      除此之外,老黄在这届GTC上还涉足了以太网,推出全球首个面向AI的以太网网络平台——Spectrum-X

      它由英伟达的Spectrum-4以太网交换机和BlueField-3SuperNIC共同发力,能为AI、机器学习和自然语言处理等提供高性能支持。

      相比传统以太网,Spectrum-X可将AI网络性能提升1.6倍,提高AI云的电力效率。

      以及还包括基于硅光学的Spectrum-X Photonics和Quantum-X Photonics网络交换平台,用于使用硅光学的超大规模数据中心。

      新的网络交换平台将端口数据传输速度提升至1.6Tb/s,总传输速度达到400Tb/s,使数百万个GPU能够无缝协同工作。

      还开源了一系列软件

      除了硬件,英伟达这次在软件开源方面也有几个新动作。

      其中最重磅的,当属发布NVIDIA Dyamo,一个用于加速AI模型推理的分布式推理服务库

      老黄将其称为“AI工厂的操作系统”,核心目标在于提高推理性能的同时降低Test-Time算力消耗。

      按照英伟达的说法,在NVIDIA Blackwell上使用Dynamo优化推理,能让DeepSeek-R1的吞吐量提升30倍

      至于背后原因,主要在于Dynamo可以通过动态调整GPU资源应对请求波动,并优化数据卸载到成本更低的存储设备,从而降低推理成本并提高效率。

      目前Dynamo已完全开源,支持PyTorch、SGLang、NVIDIA TensorRTyTM以及vLLM,在GitHub获取后即可将推理工作分配到多达1000个NVIDIA GPU芯片。

      此外,英伟达还宣布开源新的AI推理模型——Llama Nemotron,该系列模型也曾出现在今年1月的CES上。

      据介绍,Llama Nemotron基于开源Llama基础模型构建,采用英伟达最新技术和高质量数据集进行剪枝和训练,优化了计算效率和准确性。

      为了直观展示其性能,老黄在大会上将它和Llama3.3(70B)以及DeepSeek R1Llama (70B)进行了对比,下图展示了它们在Agentic任务上的平均准确率(横轴)与每秒处理的tokens数量(纵轴):

      可以看出,新的推理模型以49B参数量性能远超另外两个模型,在Agentic任务中表现更为突出。

      目前Nano和Super模型可在NIM微服务中获取,Ultra模型即将推出。

      与此同时,英伟达在自动驾驶具身智能方面也有新进展。

      大会开始不久,老黄即宣布英伟达与通用汽车达成合作:

      通用将在自动驾驶上使用英伟达的AI技术。

      在这之后,英伟达正式发布了端到端自动驾驶汽车全栈综合安全系统NVIDIA Halos

      这个系统主要将NVIDIA的汽车硬件和软件解决方案与尖端AI研究相结合,以确保从云端到车辆的自动驾驶汽车(AVs)的安全开发。

      介绍过程中,老黄多次提到了“安全性”这个词,并公开声称:

      我们是世界上第一家对每一行代码进行安全评估的公司

      落实到具体上,Halos系统主要在三个互补的层面提供支持:

      技术层面:包括平台安全、算法安全和生态系统安全;

      开发层面:涵盖设计阶段、部署阶段和验证阶段的安全防护措施;

      计算层面:从AI训练到部署的全过程,利用三种强大的计算平台,分别是NVIDIA DGX用于AI训练,NVIDIA Omniverse和NVIDIA Cosmos在NVIDIA OVX上运行用于模拟,以及NVIDIA DRIVE AGX用于部署。

      到了大会的最后阶段,老黄宣布英伟达与Google DeepMind和Disney Research正合作开发下一代开源仿真物理模型Newton

      据英伟达介绍,Newton基于NVIDIA Warp构建,支持与MuJoCo Playground或NVIDIA Isaac Lab等学习框架兼容。

      它主要用于机器人模拟训练,使用之后可以帮助研究人员安全、加速且低成本地训练/开发/测试/验证机器人控制算法和原型设计。

      同时,英伟达还同步推出了Isaac GR00T N1,号称全球首个开源的、完全可定制的人形机器人基础模型。

      它采用双系统架构,灵感来自人类思考模式,包括快速思考的动作模型(System1)和慢速思考的决策模型(System2)。

      在大会演示中,GR00T N1能够轻松泛化常见的任务,如抓取、移动物体以及在双臂之间转移物品,或执行需要长时间推理的复杂任务。

      最后的最后,老黄在谢幕之前还成功“召唤”出了配有GR00T N1模型的机器人——Blue(星球大战机器人)。

      虽然过程中有些不听话的“叛逆行为”,但好在还是给了点老黄面子(doge)。

      One More Thing

      今年的GTC大会,除了老黄的主题演讲,还有一件事最值得期待:

      那就是今年首次设立的“量子日”活动,届时老黄将与D-Wave Quantum和Rigetti Computing等十余家量子计算行业领军企业的高管同台,讨论量子计算的技术现状、潜力以及未来发展方向。

      要知道今年年初时,老黄一句“量子计算还需20年才实用”,相关概念股曾应声腰斩。

      所以大家这次都在观望,老黄是否又会“语出惊人”,相关探讨是否会对量子计算产业产生更大影响。

      咱们继续坐等答案揭晓~

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。