雷神猎刃16 2025电竞本京东首销售罄 下单可享国补立省2000元富士GFX100RF数码相机在京东开启预约 售价34900元送三重好礼湖北为脑机接口医疗服务定价!去年相关专利申请量创新高Windows 10与11市场份额差距持续缩小,3月仅差11.57个百分点广东出台公务用车新规:国产新能源汽车成标配流体云新增更多类型信息,一加 13 手机获 ColorOS 15.0.0.702 升级vivo、华为等竞逐机器人新赛道,能否争夺“第二增长曲线”全球电视格局迎变化,中国品牌包揽Mini LED电视前三文远知行CEO:自动驾驶技术变现时间“难以预测” 计划五年内盈利消息称富士康去年在印度组装1200万部iPhone 计划今年翻番微软为英特尔和AMD芯片的Copilot Plus PC提供更多AI功能,含实时字幕等国家天文台联合阿里云发布全球首个太阳大模型“金乌”创维EV6新增“Z享版”上市 续航430公里售价17.99万元家电企业们,都有一个“统管全家”的野望2025年全球生成式AI支出将达6440亿美元网易有道发布AI硬件产品Youdao OpenEar开放式耳机Higgsfield AI 发布全新视频模型:电影级相机控制重塑创意边界Krea上线3D功能并重构网站:从文本到立体,创作秒成型iOS18.4正式版发布 苹果智能支持中文50系AI战神今日开售!宏碁暗影骑士·擎7系列15999元起 雷神猎刃16 2025电竞本京东首销售罄 下单可享国补立省2000元富士GFX100RF数码相机在京东开启预约 售价34900元送三重好礼湖北为脑机接口医疗服务定价!去年相关专利申请量创新高Windows 10与11市场份额差距持续缩小,3月仅差11.57个百分点广东出台公务用车新规:国产新能源汽车成标配流体云新增更多类型信息,一加 13 手机获 ColorOS 15.0.0.702 升级vivo、华为等竞逐机器人新赛道,能否争夺“第二增长曲线”全球电视格局迎变化,中国品牌包揽Mini LED电视前三文远知行CEO:自动驾驶技术变现时间“难以预测” 计划五年内盈利消息称富士康去年在印度组装1200万部iPhone 计划今年翻番微软为英特尔和AMD芯片的Copilot Plus PC提供更多AI功能,含实时字幕等国家天文台联合阿里云发布全球首个太阳大模型“金乌”创维EV6新增“Z享版”上市 续航430公里售价17.99万元家电企业们,都有一个“统管全家”的野望2025年全球生成式AI支出将达6440亿美元网易有道发布AI硬件产品Youdao OpenEar开放式耳机Higgsfield AI 发布全新视频模型:电影级相机控制重塑创意边界Krea上线3D功能并重构网站:从文本到立体,创作秒成型iOS18.4正式版发布 苹果智能支持中文50系AI战神今日开售!宏碁暗影骑士·擎7系列15999元起
  • 首页 > 云计算频道 > 大模型

    英伟达发布80亿参数新AI模型:精度、效率高,可在RTX工作站上部署

    2024年08月23日 11:40:33   来源:IT之家

      英伟达于 8 月 21 日发布博文,发布了 Mistral-NeMo-Minitron 8B 小语言 AI 模型,具备精度高、计算效率高等优点,可在 GPU 加速的数据中心、云和工作站上运行模型。

      英伟达携手 Mistral AI 上月发布开源 Mistral NeMo 12B 模型,在此基础上英伟达再次推出更小的 Mistral-NeMo-Minitron 8B 模型,共 80 亿个参数,可以在搭载英伟达 RTX 显卡的工作站上运行。

      英伟达表示通过宽度剪枝(width-pruning)Mistral NeMo 12B,并知识蒸馏(knowledge distillation)轻度重新训练后获得 Mistral-NeMo-Minitron 8B,相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。

    1.jpg

      剪枝通过去除对准确率贡献最小的模型权重来缩小神经网络。在 "蒸馏" 过程中,研究小组在一个小型数据集上重新训练剪枝后的模型,以显著提高通过剪枝过程而降低的准确率。

      就其规模而言,Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务,包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。附上相关测试结果如下:

      参考

      Lightweight Champ: NVIDIA Releases Small Language Model With State-of-the-Art Accuracy

      Mistral-NeMo-Minitron 8B Foundation Model Delivers Unparalleled Accuracy

      Compact Language Models via Pruning and Knowledge Distillation

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。