毕尔巴鄂对阵皇家社会:两支近邻球队将于西甲联赛 “巴斯克德比”中为捍卫荣耀而战贝壳第三季度营收226亿元 经调净利润17.8 亿元 同比下降17.46%AI营销,让科技巨头尝到了大模型商业化的甜头安恒信息范渊在乌镇峰会谈AI:以工具视之、以工具用之、以工具治理之诺基亚与微软再合作,为 Azure 数据中心供货延长五年天岳先进发布业界首款 300mm(12 英寸)N 型碳化硅衬底三星介绍内部安全团队 Project Infinity 攻防演练项目,高效修复 Galaxy 手机平板漏洞上海市将推进低空飞行服务管理能力建设,2027 年底前累计划设相应航线不少于 400 条岁末,海尔给您备好一套“小红花”为什么说Q10K Pro是今年最值得入手的电视?看完这几点就明白了!“小墨方·大不凡”!Brother“小墨方”系列彩喷一体机全新上市黄仁勋:AI智能需求强劲,“物理定律”限制英伟达芯片增长诺基亚与微软再合作,为Azure数据中心供货延长五年国家数据局:到2029年基本建成国家数据基础设施主体结构中国已发展成为全球最大的互联网市场,拥有全球最多的网民和移动互联网用户中国铁塔:计划按照10:1的比例合股美国FCC正式划定5.9GHz频段用于C-V2X技术在AI领域奋起直追!苹果要对Siri大革新 2026年正式发布日本机构公布量子专利榜单:本源量子、国盾量子位居全球第1中国联通:拟向华为、中兴展开5G网络设备竞争性谈判采购
  • 首页 > 企业IT频道 > 软件即服务

    ExecuTorch测试版上线,加速Arm平台边缘侧生成式AI发展

    2024年11月05日 10:32:49   来源:Citnews中文科技资讯

      新闻重点:

      · 通过 Arm 计算平台与 ExecuTorch 框架的结合,使得更小、更优化的模型能够在边缘侧运行,加速边缘侧生成式 AI 的实现

      · 新的 Llama 量化模型适用于基于 Arm 平台的端侧和边缘侧 AI 应用,可减少内存占用,提高精度、性能和可移植性

      · 全球 2,000 万名 Arm 开发者能够更迅速地在数十亿台边缘侧设备上大规模开发和部署更多的智能 AI 应用

      Arm 正在与 Meta 公司的 PyTorch 团队携手合作,共同推进新的 ExecuTorch 测试版 (Beta) 上线,旨在为全球数十亿边缘侧设备和数百万开发者提供人工智能 (AI) 和机器学习 (ML) 功能,进而确保 AI 真正的潜力能被最广泛的设备和开发者所使用。

      借助 ExecuTorch 和新的 Llama 量化模型,Arm 计算平台优化生成式 AI 性能

      Arm 计算平台无处不在,为全球众多边缘侧设备提供支持,而 ExecuTorch 则是专为移动和边缘侧设备部署 AI 模型而设计的 PyTorch 原生部署框架。两者的紧密合作,使开发者能够赋能更小、更优化的模型,包括新的 Llama 3.2 1B 和 3B 量化模型。这些新模型可以减少内存占用、提高准确性、增强性能和提供可移植性,成为小型设备上的生成式 AI 应用的理想选择,如虚拟聊天机器人、文本摘要和 AI 助手。

      开发者无需额外的修改或优化,便可将新的量化模型无缝集成到应用中,从而节省时间和资源。如此一来,他们能够迅速在广泛的 Arm 设备上大规模开发和部署更多的智能 AI 应用。

      随着 Llama 3.2 大语言模型 (LLM) 新版本的发布,Arm 正在通过 ExecuTorch 框架优化 AI 性能,使得在 Arm 计算平台边缘设备运行的真实生成式 AI 工作负载能更为快速。在 ExecuTorch 测试版发布的首日起,开发者便能享有这些性能的提升。

      集成 KleidiAI,加速端侧生成式 AI 的实现

      在移动领域,Arm 与 ExecuTorch 的合作意味着众多生成式 AI 应用,如虚拟聊天机器人、文本生成和摘要、实时语音和虚拟助手等,完全能够在搭载 Arm CPU 的设备上以更高的性能运行。这一成果得益于 KleidiAI,它引入了针对 4 位量化优化的微内核,并通过 XNNPACK 集成到了 ExecuTorch 中,因此,在 Arm 计算平台上运行 4 位量化的 LLM 时,无缝加速 AI 工作负载的执行。例如,通过 KleidiAI 的集成,Llama 3.2 1B 量化模型预填充阶段的执行速度可以提高 20%,使得一些基于 Arm 架构的移动设备上的文本生成速度超过了每秒 400 个词元 (token)。这意味着,终端用户将从他们移动设备上获得更快速、响应更灵敏的 AI 体验。

      了解更多 Arm 在移动市场对ExecuTorch的支持,请查阅博客文章。

      为物联网的边缘侧 AI 应用加速实时处理能力

      在物联网领域,ExecuTorch 将提高边缘侧 AI 应用的实时处理能力,包括智能家电、可穿戴设备以及自动零售系统等。这意味着物联网设备和应用能够以毫秒级的速度响应环境变化,这对保障安全性和功能可用性至关重要。

      ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上运行,以加速边缘侧 AI 应用的开发和部署。事实上,通过将 ExecuTorch 与 Arm Corstone™-320 参考平台(也可作为仿真固定虚拟平台 (FVP) 使用)、Arm Ethos-U85 NPU 驱动程序和编译器支持集成到一个软件包中,开发者可在平台上市前几个月就着手开发边缘侧 AI 应用。

      了解更多 Arm 在物联网领域对ExecuTorch的支持,请查阅博客文章。

      更易获取、更快捷的边缘侧 AI 开发体验

      ExecuTorch 有潜力成为全球最受欢迎的高效 AI 和 ML 开发框架之一。通过将应用最广泛的 Arm 计算平台与 ExecuTorch 相结合,Arm 正在通过新的量化模型加速 AI 的普及,让开发者能够更快地在更多设备上部署应用,并将更多生成式 AI 体验引入边缘侧。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    [No. H002]
    分享到微信

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。