RA战队勇夺上海Major晋级资格 ROG外设助力电竞征途国家安全部:警惕深度伪造技术带来的安全风险一键生成 AI 广告短视频:Tiktok 上线 Symphony Creative Studio 平台参数量仅 0.25B,成都人形机器人创新中心全国首发 R-DDIRM 高速推理模型我国新一代地基红外天文望远镜发布首批观测图像东芝将与日本筑波大学合作,利用基因信息展开睡眠研究日企“山业”推出磁吸式网线:可减少端口损坏,传输速度 10GbpsAI投毒第一案!GPT写的代码竟有后门 程序员被骗1.8万元苹果 iPhone 16 获 DxOMark 147 分超三星 Galaxy S24 Ultra:HDR 照片明亮有活力、肤色自然准确赵明回应荣耀 GT 系列独立,或将肩负再造荣耀目标微软公布 Zero Day Quest 白帽安全竞赛:提交指定类型漏洞奖金至高可翻倍、前 45 名可受邀线下活动印度将鼓励企业本土生产手机等产品零部件:总额 40-50 亿美元我国牵头的首个工业化建造自动标识与数据采集应用国际标准发布京东 11 月 27 日起下线京享值 6000 以上“运费双免”服务,PLUS 会员“免费退换货”不受影响美团刘硕:美团无人机运营规模位列全球第一梯队谷歌“隐瞒文化”曝光:在掌握所有事实之前,不要发表评论英伟达股价大涨,黄仁勋慈善基金会今年至少要再捐 1.2 亿美元消息称莱迪思半导体正考虑收购英特尔 Altera滴滴“12 年老将”张博卸任 CTO,未来将专注自动驾驶业务毕尔巴鄂对阵皇家社会:两支近邻球队将于西甲联赛 “巴斯克德比”中为捍卫荣耀而战
  • 从个人AI Agent看AI手机的现在与未来

    2024年05月13日 10:34:08   来源:天翼智库

      AI 功能早已进入手机,比如拍摄优化、面部识别、语音助手等。2024年被手机厂商宣称为“AI手机元年”,主要是指AI大模型进入手机,可能引起交互与体验的变革,如语音交互能否取代触屏,个人智能助理成为重要的用户价值等。相应地,手机操作系统、芯片、内存等需升级换代,手机厂商认为这将驱动手机进入继功能机、智能手机之后的第三阶段,AI手机阶段。

      对于消费者来说,AI手机价值不在于硬件堆叠,而是基于AI大模型的应用。IDC和OPPO联合发布的《AI手机白皮书》提出“AI手机的用户价值,是自在交互、智能随心、专属陪伴、安全可信的个人化助理。”实际上,大模型的出现(LLM为主),智能个人助理(Assistant)可以扩展为更为自主的个人智能代理(Agent),深度参与到个人数据中,提供个性化服务。手机厂商2023年下半年起,逐步推出搭载大模型的手机,标配生成式AI应用与个人Agent,但都还处于早期阶段。本文基于个人AI Agent将成为个人智能应用核心模式的判断,从个人AI Agent核心组件及实现出发,讨论AI手机的现状与未来,以及运营商可为的布局。

      个人AI Agent将成为智能应用的核心模式,重塑终端与应用生态

      一是大模型具备增强智能助理扩展性和可用性的潜力。Siri、谷歌助手、华为、百度的智能助手等早已进入智能手机与智能家居,它们基于预定义的规则和较小的专用语言模型,执行具体定向的任务,如设定提醒、播放音乐、获取天气预报等,但扩展性不足,对用户意图理解力也不够。大模型(LLM为主)展现出很强的自然语言理解、内容生成、逻辑推理等能力,以大模型驱动的个人AI Agent,具备把目标分解成子任务,并调用工具来完成的潜力,预期可以做更泛化场景的任务。

      二是APP与智能终端积累个人轨迹数据,使行为智能成为可能。互联网时代网站崛起,人类实现广泛的信息共享交流,积累丰富的知识内容,为大模型训练提供了内容基础。移动互联网时代,人类生活逐步线上化,即时通讯、购物、健身、出行等APP汇聚用户行为轨迹数据,为个人行为预测训练提供了基础。智能化时代,真正智能的个人Agent成为可能,从“帮你做事”到主动预测“代你做事”(代理性程度不一),Agent有望成为智能时代的核心应用载体,行为智能是本质特点。

      图1 Agents可能成为个人智能应用的核心载体

      三是从个人AI Agent应用模式出发,会重构智能终端与应用生态。个人AI Agent的终极目标是理解用户并完成任务,具备响应性技能和主动性技能(图2)。即响应用户需求的能力,如问题答复、天气查询等,与在用户没有明确命令的情况下,提供主动服务的能力,如活动推荐及执行等。从应用目标出发,个人AI Agent需要:(1)更广泛的个人数据采集,包括来自APP等“软终端”与各类传感器、智能硬终端的信息监测;(2)用户历史记忆档案与当前状态信息(环境、位置等)的组合,体现个性化、即时服务特点;(3)多样的工具调用能力,包括不同专业Agent的协同;(4)基础AI模型是核心,连接调度Agent的功能组件。结合现有进展,我们预计将会出现:(1)新一波监测类智能终端创新,类似Limitless录音吊坠、Galaxy Ring运动睡眠等监测;(2)新一波智能Agent应用创新,个人综合Agent与专属Agent(如健康助理)等;(3)新一波承载Agent应用的终端创新,类似Rabbit R1、AI Pin、Ray-Ban Meta,当然包括AI手机;(4)新的操作系统内核,大模型为核心,支持多工具、多Agent调用等;(5)个人隐私保护技术创新及应用,加密与可信环境等。

      图2 个人AI Agent的主要组件

      来源:《PERSONAL LLM AGENTS: INSIGHTS AND SURVEY ABOUT THE APABILITY, EFFICIENCY AND SECURITY》

      现阶段AI手机以生成式应用为主,“行为智能”尚处探索阶段

      综合当前各方对AI手机的界定,AI手机可以概括为包含端侧大模型、具备NPU的SoC芯片(IDC要求NPU性能在30到45 TOPS之间)、端侧实现GenAI并向个人Agent发展等。下表是手机厂商目前推出的AI手机及特征总结:

      表1 主流厂商当前AI手机推出情况

      可以看出,现阶段AI手机端侧模型以7B为主流,并与云端协同,大模型开始与操作系统融合。但受硬件与技术限制,AI手机应用以内容生成处理类场景为主,多是云端大模型应用的移植,个人AI Agent尚未真正发挥“行为智能”的特点,所以用户感觉没有明显的差异化,不够颠覆性。具体而言:

      (1) 主打内容生成处理,体现一定特色。以端侧AI在图像和文本处理的深化为主,如文本和图片生成、AIGC 消除与背景补充、文件和本地通话摘要等。差异化来自某类场景的专注提升,如小米专注“影像”,VIVO文档提炼更加高效等。

      (2) 个人AI Agent处于探索阶段。智能助手在识别用户意图,对手机的资源、性能、业务应用进行调度方面开始探索,如:荣耀YOYO提供“任意门”功能,宣称实现意图识别、信息跨应用跨设备流转,VIVO小V自然语言操控手机APP等。

      (3)注重跨终端融合与智能应用生态打造。如小米“人车家全生态”布局,小爱能学习用户的使用习惯,实现跨终端自动控制。应用生态方面,一是利用成熟生态,如三星与Google的大模型及生态合作;二是建新生态,如OPPO“1+N智能体生态”,即小布助手+开发者和用户Agents,荣耀发起“百模生态计划”,手机端自有AI大模型为中控,调度云端模型生态等。

      AI手机适应新应用模式的未来关键方向分析

      新范式催生新终端形式,重构应用生态,AI Pin是无屏幕交互Agent,Rabbit R1是直接操作APP的 Agent,Limitless的愿景也是个人 Agent,AI及Agent模式还会持续带来智能眼镜、耳机、家居等终端创新。面对原生AI终端与AI应用,AI化的手机的定位及形态面临升级,或需重新定义的局面。具体来说,有以下几个值得关注的问题和方向:

      (1) AI手机还能否整合AI终端保持中心设备的位置:本质上就是AI手机能否成为个人AI Agent的集成调度中心,AI终端成为手机的补充,或者作为新的功能组件的问题。目前专项AI硬件,如Limitless吊坠、Ploud录音机,包括主打音频和拍摄的Ray-Ban Meta初步获得市场认可,也与手机配合,而偏综合的,甚至宣称取代手机的AI Pin、Rabbit R1低于预期,高开低走。AI手机成为个人AI Agent的集成调度中心,核心优势是本地算力和存储,能够承载端侧模型和个人隐私数据,是当下的最佳载体。未来不排除某类更随身轻灵的AI原生穿戴设备,借助云端+网络+可信数据空间等成为新中心,产生更移动化场景的Agent应用生态。

      (2) 行为数据孤岛下如何协调建立用户的个人记忆:用户行为轨迹数据分散终端及在各大APP中,后者未必愿意开放API。探索的方向是:①Agent学习APP操作方法,通过UI界面模拟完成任务,如Rabbit R1,以及APPAgent框架等,但不是最有效率的方案;②系统级个人Agent、专项Agent(如购物、旅游)之间协同调用,弥补数据孤岛劣势;③大厂广泛布局智能终端,构建用户记忆档案,比如小米、苹果、华为、三星等向智能可穿戴、智能家居扩展等。

      (3)  手机厂商APP Store能否升级为“Agent” Store:APP Store是手机厂商的重要营收渠道,引入Agent面临:①大模型不是手机厂商包括苹果的强项,主导权在Open AI 、Google等手中;② Agent模式向下挤压原APP,甚至跳过APP,利益链条被打破;③Agent Store需要新的平台插件、功能组件与商业模式等。可能的方向:一是建立大模型生态,如荣耀“百模生态计划”以及苹果寻求多方合作;二是探索新商业模式,如系统级Agent、专项Agent及APP数据交换与协同合作,平台架构设立面向B端的Agent组合调用层,按量/订阅收费分成等;三是建立或参与建立数据集成平台(如可信数据空间),汇集用户行为数据,统一格式与隐私管理,为Agent提供开发运营基础等。

      (4)个人数据安全如何有效保障:在AI手机等本地端保存处理,被认为是最安全的方式,但对内存挑战大,推理成本也比较高。云边协作是另一种处理方式,隐私保护技术主要是数据屏蔽、数据加密、可信执行环境等。总的来说,现有隐私保护技术还不足以支持高水平个人AI Agent运作,需要手机厂商等提出创新性解决方案,赢得用户信任。

      (5)AI手机软硬件持续升级:一是端侧模型及OS效率改进,苹果OpenELM 、微软Phi-3、Octopus V2等端侧模型在语⾔、推理、编码等方面有良好表现,苹果即将发布的iOS 18是其展开AI竞争的主要平台;二是端侧硬件持续升级,将采用3nm等更先进制程,推理能力及手机内存加速提升等。

      运营商可以做什么布局

      面对AI终端与应用模式变革趋势,电信运营商一是可把握新一波AI终端云端联网的流量需求,带动流量卡号销售;二是优化网络质量与套餐服务,Agent端云实时的数据处理交互,对网络速度和稳定性的需求增加,因个人数据更加完整,运营商可以与应用方合作,提供个性化的套餐服务;三是布局个人、家庭Agent特色智能服务,如健康管理服务、智能家庭服务、紧急响应服务等;四是参与用户数据隐私保护技术开发与可信数据空间建设,提供加密技术保护用户Agent数据,积极布局个人、家庭可信数据空间基础设施建设等。

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    明火炊具市场:三季度健康属性贯穿全类目

    奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    华硕ProArt创艺27 Pro PA279CRV显示器,高能实力,创

    华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。

    研究

    中国信通院罗松:深度解读《工业互联网标识解析体系

    9月14日,2024全球工业互联网大会——工业互联网标识解析专题论坛在沈阳成功举办。