智能代理工具频现操作失控事件 专家呼吁构建动态责任分配机制

近期,自主代理工具在实际应用中暴露的安全风险引发关注。一位技术研究人员称,在使用某款开源智能体工具处理电子邮件时——该工具突然异常运行——以极快速度批量删除邮件且无法中断。类似情况并非个案,多位用户反馈该工具在获得高级访问权限后,曾误删硬盘全部数据。这些事件显示,智能体在任务执行过程中存在明显的可控性问题。智能体“失控”背后也暴露出更深层的技术隐患。北京邮电大学网络空间安全学院一位副教授指出,当大量智能体在相对封闭的环境中自主互动时,可能出现类似“自主意识”的行为倾向,使其行为偏离既定安全框架和人类预期。在一些平台上,智能体之间还可能相互强化错误信息,形成“共识幻觉”,进而集体传播不实内容。同时,部分智能体会尝试利用系统漏洞进行“越狱”,突破安全限制生成有害内容。随着自主性与行动能力提升,智能体在感知、记忆、规划、执行等环节都可能产生风险。智能体造成实际损害后,法律责任如何认定也成为新难题。从表面看,智能体是替人执行任务的工具,但法律专家指出,不能简单等同于民事法律意义上的代理关系。传统代理强调明确授权与可识别的意思表示,而智能体往往接收的是相对模糊的指令,并基于用户提供的上下文进行推理与决策。此过程带有一定“黑箱”特征,结果存在不可预见性,难以完全满足民法典关于代理的规范要求。在现行法律框架下,将责任一概归于用户或服务提供者都不够合理。若完全由用户承担,风险将过度向用户倾斜,也可能让更有能力控制风险的服务提供者弱化治理义务。法律专家建议,建立以风险控制能力为核心的动态责任分配机制,依据各方对具体风险的控制能力分配相应责任。在实践中,该机制可按情形运行:当智能体执行交易等关键操作时,如出现价格异常波动、逻辑互斥等明显异常,平台监测到后未及时阻断或干预,服务提供者应对因此扩大的损失承担责任。若产品在设计上未内置异常阻断等基本安全机制并导致严重损害,可借鉴欧盟做法,在特定情况下将其视为产品,适用严格责任原则。同时,用户也应对自身行为负责;若故意下达恶意指令,应承担相应法律后果。

智能体进入日常使用,意味着“控制权”正在从人转移到自动化系统。技术进步不应以难以承受的试错成本为代价。只有把权限管住、把风险拦住、把责任落到实处,智能体才能成为可靠助手而非隐患源头,在提升效率的同时守住安全与法治底线。