学术教育

论文草稿

- 文章提出:基于大语言模型的智能体系统存在“权限—验证差距”,即授予智能体操作权限快于独立验证其实际行为。 - 该差距被用于统一解释身份欺骗、能力捕获和流程漂移等失败。 - 当前智能体AI信任研究分为五条轨道:安全与对齐、安全与鲁棒性、可靠性、治理/公平/监管、评估与可复现性。 - 安全与对齐工作在模型层提升对齐或约束流程,但不提升系统事后确认轨迹是否合规的能力。 - 安全与鲁棒性研究覆盖提示注入、工具选择攻击、多模态网页智能体、多智能体系统、导航智能体等攻击面。 - 可靠性研究关注级联失败、动态环境、执行不一致、涌现行为和可靠性机制资源成本。 - 治理/公平/监管研究关注社会技术维度、法律规制、自主性模糊边界、公平作为动态涌现属性。 - 评估与可复现性研究指出固定基准无法捕捉智能体开放式、概率性、系统级交互行为,需要生命周期评估。 - 定义:Authority是系统允许智能体执行的状态改变操作;Verifiability是独立于智能体自述确认其实际行为的能力;gap=Auth-Ver。 - 该差距不是单纯最小权限问题,因为动作空间不可预先枚举、授权制品由被授权模型读取、审计成本随轨迹长度增长。 - 三个经验支持:身份被委托但不自证;工具选择可被注入文档捕获;流程仅作提示上下文时未被强制执行。 - 提出三层框架:Model(能力与倾向)、Orchestration(身份、权限、能力、流程)、Ecosystem(多智能体动态、级联、监管)。 - 各层盲点:模型层只能增加信心不能产生证据;编排层身份被断言而非证明、工具选择可被捕获、任务授权与执行未分离;生态层有框架但缺工具化证据。 - 五项设计原则:授予任务所需最小权限;将可验证性作为能力前提;不接受身份作为证据;评估轨迹而非快照;将监管接口设计进系统。 - 三个可检验预测:可验证性而非能力是约束;点防御会饱和;归因需要轨迹证据。 - 开放问题:如何度量可验证性;跨层基准应是什么样;如何沿轨迹分配责任。 - 局限:本文为Perspective,提出概念框架并从文献推导设计原则,未报告新实验,未测量该差距。

Free to readViewed by 26 people