6 月 27 日消息，随着 AI 智能体越来越聪明，甚至能够主动帮助用户在手机上完成各种任务（例如修改某项设置、打开导航），但 AI 本身并不理解 UI 结构对应的具体运行机制，仅仅是按照预设程序执行操作。
苹果与华盛顿大学的研究人员现在联合发表了一篇论文，探讨如何让 AI 学会判断各种操作所产生的后果，避免执行用户未批准的高风险动作。
AI 智能体的自主行为是 2026 年苹果系统升级的核心功能之一。苹果在 2024 年 WWDC 上就曾展示过 Siri 的未来发展方向 —— 帮用户代做诸如在线购物、订票等任务，但这种自动化看似便捷，却引发了关键问题：如果 AI 误点“删除账户”而非“注销”，会发生什么？
手机作为个人设备，存储着银行金融数据、健康记录、照片和私人信息。当 AI 智能体代行任务时，必须区分哪些动作无害、哪些可能造成持久或危险后果，更需知道何时停止并请求用户确认。
然而，多数 AI 开发商只是停留在让 AI“会操作”（如识别按钮、找到对应的页面、按指令执行程序），却甚少关注这些操作对用户的后续影响。
苹果 AI 研究人员指出，并不是所有动作都安全无风险：点击“刷新”按钮是低风险行为，但点击“转账”则是高风险行为。
这项研究从 AI 安全与 UI 设计专家参与的研讨会开始，目标是创建一个“分类法”（结构化列表），用于定义 UI 动作的不同影响类型。团队围绕以下问题展开：
动作是否可撤销？
影响仅涉及机主还是包括更多人？
是否改变隐私设置或产生费用？
论文显示，研究人员建立了一种多维度标注手机 App 动作的方法。例如，删除消息可能在 2 分钟内可撤销，但超过时间则无法恢复；转账通常需协助才能撤销。
这种分类法的重要性在于，它为 AI 提供了推理人类意图的框架 —— 相当于一份“风险检查”程序，帮助 AI 判断“哪些动作可能出错”或“为何需要额外确认”。
为训练 AI 区分动作风险，研究人员让参与者在模拟移动环境中记录高风险动作（IT之家注：如修改账户密码、发送消息、更新支付详情），而非浏览、搜索等低风险任务。
团队将新数据与现有覆盖安全、常规交互的数据集结合，用分类法标注所有数据，随后测试了包括 OpenAI GPT-4 在内的五大 AI 模型，评估其预测动作影响水平或分类属性的能力。
结果显示，在提示中加入分类法有助于提高风险判断准确率，但即使表现最佳的“GPT-4 多模态”模型，正确率也仅约 58%。
研究发现，AI 模型常会高估风险 —— 比如将“清除空计算器历史记录”这类无害动作标记为高风险。这种“谨慎偏见”看似更安全，却可能因频繁请求确认而让 AI 助手变得烦人或无用。而更严重的问题在于，模型难以完成判断 —— 无法确定动作是否可撤销，或如何影响他人。
苹果研究人员认为，用户需要的是“有用且安全”的自动化功能：误删账户的 AI 是灾难，但要是连调整音量这种操作都要请示用户的话还不如不做。
研究人员认为，他们的分类法可帮助设计更好的 AI 政策 —— 例如，用户可自定义何时需要请求批准。这种方法支持透明化与个性化，帮助 AI 设计者识别当前模型的薄弱点（尤其在处理真实世界高风险任务时）。
研究表明，教 AI“识别按钮”还不够，它必须理解“点击背后的意义”—— 这对 AI 而言是项艰巨任务。人类可以通过上下文提示和历史经验来进行判断，但机器却很难完美地解决这种复杂性操作。
【来源：IT之家】