
文|李炤锋 剪辑|张雨忻万博体育(中国)官方网站
昨日,豆包手机助手发布销耗者版块。这款基于豆包App(哄骗)、与手机厂商在操作系统层合作的AI助手,首款落地机型为中兴通讯旗下努比亚NaviX Ultra,而这款手机将在9月16日崇拜公开拓售。
客岁底,豆包手机助手时期预览版曾落地努比亚M153工程样机,要点展示AI如何跨哄骗“操作手机”。不到一年时候,全新推出的销耗者版块更强调平素可用性:除屏幕问答、土产货缅想和检索外,“操作手机”功能以Beta(测试版)样式灵通;豆包同期推出SAEP(屏幕自动化操作声明公约),并设立30天公示期。
凭证公约,第三方哄骗不错自主声明是否允许AI助手实施屏幕自动化,也不错杀青具体操作。30天公示期内,未明确高兴接入的第三方哄骗默许不操作。销耗者版豆包手机助手进一步加入哄骗侧遴选权:第三方哄骗不错举座远离GUI,也不错单独杀青发布、删除和权力领取等操作。
从事GUI(图形用户界面)Agent商榷的东谈主士觉得:“将来手机里详情要有一个原生AI助手。这个事情不一定由手机厂商我方作念,但终末一定要作念到系统级。”而跟着NaviX Ultra和一众系统级手机助手插足销耗阛阓,系统级AI助手正在走向无为用户的平素使用场景中。
走出对话框,手机AI启动跨App完成任务
本年7月,中兴通讯高等副总裁、努比亚总裁倪飞在接受媒体采访时默示:“用户确实念念要的是‘清静’,但今天的手机功能越多、操作越复杂,这种矛盾如故累积到了一定程度,需要一个全新的家具形态往复话。”
这恰是豆包手机助手在尝试处理的问题:它镶嵌手机系统,能在用户授权后搜索刻下屏幕和本机信息,调用日期等系统器具,或插足其它App完成App中的操作。用户不错通过AI键发起任务,多个任务还不错列队或临时插队。
比如,在豆包手机助手的官方演示中,用户拍下新学期课表后,不错让助手将课表加入个东谈主日期;也不错让它打车到屏幕夸耀的地址,添加银都大厦为路过点,上车后再把车招牌发给飞书共事,并请示对方10分钟后下楼。
这套使用方式在客岁的时期预览版——努比亚M153上如故有过雏形。一段公开演示中,用户让豆包凭证相册里的一张血压仪相片,在淘宝“挑一个低廉的同款”,再“把团结发给张三”。豆包识别出商品,也识别出“张三”是QQ好友,随后连气儿完成相册、电商和外交哄骗之间的操作。
据悉,M153调用了Android的INJECT_EVENTS系统级权限。赢得用户授权后,即使第三方App莫得为AI提供接口,豆包也不错模拟点按、滑动和输入;际遇密码、东谈主脸识别等敏锐要害,再把手机交还用户。
但在本体使用中,触及到一些登录考证和平台风控的跨App操作都可能中断任务。随后,豆包主动杀青了金融支付、刷引发等高风险场景。
本年2月,Google在Galaxy S26系列和部分Pixel 10机型上测试Gemini多步任务:它不错为共事安排包含多个泊岸点的网约车,任务转入后台后,用户仍可通过见知稽查程度、随时剿袭,并在购买前证据。Google负责Android开拓者家具不停的副总裁Matthew McCullough在官方博客中写谈:“斟酌哄骗告捷的圭臬,正在从‘让用户掀开App’转向‘确实完成用户的任务’。”
2026年以来,一批系统级手机AI助手批量流露。
6月发布的HarmonyOS 7开拓者Beta中,华为小艺接入越过200项系统级感知数据,不错从口试邀请中识别时候、场地和抑止事项,写入备忘录;也不错在手机上条目小艺寻找电脑中的文献,再发送笔直机。
7月的2026寰球东谈主工智能大会(WAIC)上,努比亚NaviX Ultra、阶跃星辰STEPX Neo和荣耀Robot Phone围聚亮相。STEPX Neo搭载的Amoo助手接到“帮我处理一下未来陈说的事情”后,会读取飞书日期和群音信,拆罢免务、生成PPT(演示文稿),再把文献发还飞书;修改文档前会肯求权限,触及支付则由用户证据。
而险些在合并时候,超等App们和手机AI助手之间的关系也在发生变化。
本年6月,微信证据与华为、荣耀、小米、OPPO、vivo合作A2A(智能体间通讯)智力,手机助手不错提交发音信或音视频通话指示,由微信实施并复返服从,全程领受双重授权。8月,vivo蓝心小V与支付宝工作智能体“阿宝”合作,用户说“帮我叫车去高铁站”或“帮我开具打车发票”,相关工作均可在对话中完成。
不错看出,2026年,手机AI助手插足了密集发布期。除了搭载豆包手机助手的努比亚以外,Google、华为、阶跃和荣耀接踵将Agent带笔直机系统层,微信、支付宝等超等App也启动经受系统助手发出的指示。
AI替你点屏幕,若何智力不越界?
当领受GUI阶梯的手机AI助手越来越擢升,它们愈加要紧地需要处理三项权限问题:用户是否授权、哄骗是否放行,以及发送、下单和支付前由谁证据。从豆包这次推出SAEP(屏幕自动化操作声明公约)上,也许能视察到相关这一权限领域的安全举措。
现在,CUA(设想机操作智能体)如故将GUI时期阶梯手脚主流,它在处理的问题是:AI如何径直操作软件,又如何杀青可打听的领域。有商榷员把CUA形容为“给你的电脑配了一个绝顶万能的顺序员,什么都懂,会写代码,同期也懂网罗安全”。
现在的操作方式是:濒临不错结构化处理的任务,手契机优先调用代码、敕令和器具;唯有际遇莫得接口的软件,才转向识别屏幕、点击按钮。GUI更像一项兜底智力,让Agent好像赓续操作那些尚未向AI灵通的软件——手机App数目宏大,各式临时页面又延续变化,不可能一皆接口化,需要GUI来消散未接入的部分。
一位GUI商榷员告诉智能流露:“不可指望系数App开拓者都为AI完成适配,GUI详情是必要的补充。”另一位从业者也提到,“短时候内,市面仍会有许多软件不具备AI智力,尤其是大型软件,即使有接口也特地复杂,可能一时半会儿接不完。”
手机Agent比电脑Agent更依赖哄骗生态。在电脑上,操作系统不错径直决定哪些软件不错通过与Agent团结;但到了手机端,操作系统不具备这么的权限,不仅不同工作都被封装在各自App内,定位、相机、通讯录等权限也由系统和哄骗共同戒指。要是第三方App既不灵通接口,也不允许AI操作界面,手机助手就无法赓续实施任务。
现在,GUI会把每一步操作夸耀在屏幕上。一位商榷员说,“人人都能看得懂,也都好像了解这个AI助手正在作念什么东西”。用户不错据此判断是否暂停或剿袭。
但“看得见”不即是“作念得好”。卡内基梅隆大学商榷团队本年推出的手机Agent评测基准iOSWorld,用26款自研iOS哄骗模拟合并名用户的数字生涯,并设想了133项任务。发达最佳的模子在跨哄骗任务中的告捷率也唯有37%,确实销耗场景还要濒临延续变化的页面、身份考证和平台风控。
和App场景比拟,手机系统层还团员了相册、通讯录、位置、日期等用户个东谈主信息。手机AI助手掌抓的信息越好意思满,能完成的任务越多。是以,接下来要比拼两项智力:一是“若何造出更多、更好的数据”,二是“若何编排各个方法、各个Agent之间的配合”。
但同期,更多智力也意味着对生态的条目也更高。
对此,豆包手机助手遴选推出SAEP(屏幕自动化操作声明公约),允许第三方哄骗在GUI Agent实施前,先声明是否放行,以及哪些操作不可实施。
“SAEP有点像AI时期的Robots公约(网罗爬虫打听规矩)。网站通过这项公约告诉搜索引擎等自动顺序,哪些页面允许抓取、哪些不允许;SAEP则让哄骗声明Agent能否插足哄骗,以及哪些操作必须停驻。”一位商榷员评释。
接入SAEP后,第三方哄骗既不错远离一皆屏幕自动化,也不错只杀青内容发布、删除、签到抽奖和权力领取等具体操作;远离声明随时凯旋。30天公示期内,除系统自带哄骗、字节越过旗下哄骗和明确高兴接入的第三方哄骗外,其余哄骗默许不操作。公示期杀青后,未表态的哄骗将按风险等第迟缓灵通,明确远离的哄骗则恒久不被操作。
哄骗通过SAEP抒发意愿,手机系统负责读取声明、杀青GUI权限,并在敏锐方法交还用户。这需要模子公司与终局厂商共同完成。
此前,努比亚总裁倪飞把豆包与努比亚的合作抽象为:“模子公司处理AI能不可作念到,终局厂商处理用户能不可确实用起来。”按照倪飞流露的单干,豆包负责大模子和Agent智力,努比亚负责系统、硬件、家具工程、质地、渠谈和用户工作。合作领域消散模子、操作系统和整机工程。
在这套单干中,权限与信任最终由操作系统相连,这意味入部下手机操作系统和Agent的关系将愈发一体化。
本年8月,在杭州举行的支付宝AI生态合作伙伴大会上,vivo副总裁、AI全球商榷院院长周围曾默示:“硬件形态不会磨灭,但操作系统会重构——从不停App,形成不停Agent、不停权限、不停信任。”
更早的7月,国度互联网信息办公室初度单独公布7款手机端侧生成式AI工作备案,触及Apple智能、华为小艺AI大模子、OPPO AndesGPT大模子、vivo蓝心端侧大模子、小米澎湃AI、三星盖乐世AI和努比亚豆包手机大模子。手机系统级AI助手,正在插足一个行业井喷期。
一位GUI商榷员对智能流露默示,比拟孤苦AI哄骗,手机领有更踏实的用户关系:“只作念AI软件,用户可能谁免费就用谁;但手机不相似,一部手机时常要用几年,会追随用户很久。”
9月16日,NaviX Ultra将崇拜开售。届时万博体育(中国)官方网站,豆包手机助手将崇拜插足销耗阛阓,SAEP也将随之接受确实用户和哄骗开拓者的磨真金不怕火。
