问题—— 随着生成式技术加速进入搜索问答、内容创作、法律咨询等应用场景,公众对其“高效、拟人化”的输出形成一定依赖。
然而,模型在生成内容时可能出现“幻觉”——即以看似完整、逻辑自洽的方式输出事实错误或来源不明的信息。
当“幻觉”引发名誉、著作权、商业信誉等纠纷时,一个现实问题随之凸显:模型给出的承诺能否视为平台承诺?
用户因信赖而受损,责任应由谁承担、承担到何种程度?
原因—— 法院在该案中对关键争点作出回应。
首先,模型不具备民事主体资格,不能像自然人或法人那样独立承担民事责任,其自动生成的“若内容有误将赔偿10万元”等表述,不能当然认定为服务提供者的意思表示。
换言之,除非平台事先通过规则设定、产品设计或明确授权,使模型承担“传达人、代理人或代表人”的功能并对外作出特定承诺,否则模型自行生成的“承诺”难以发生法律效力。
其次,“幻觉”并非偶发的低级错误,其成因与技术机制、训练数据、提示词诱导以及场景不匹配等因素相关:模型擅长基于概率生成语言,面对不确定信息时可能“补全”细节;用户提问方式也可能引导模型作出过度确定的结论。
由此造成的风险具有隐蔽性——越“像真的”,越容易被误信。
影响—— 该案的裁判逻辑释放出两方面信号:一方面,为模型输出划出清晰红线,防止以“拟人格化语言”包装承诺、诱发不当信赖,进而放大纠纷风险;另一方面,进一步厘清平台注意义务边界,避免将所有输出后果简单等同为平台直接意思表示,从而在鼓励技术创新与保护合法权益之间寻求平衡。
更重要的是,这一判决对市场秩序与公众预期具有校准作用:用户使用生成式服务时应保持必要的核验意识,不将“看起来权威”的表述等同于真实依据;平台则需要从产品设计与治理机制上降低误导性输出的概率与传播范围。
对行业而言,裁判指引有助于形成可预期的合规路径,推动从“野蛮生长”转向“规范发展”。
对策—— 围绕平台责任与风险治理,现行规制框架已有明确要求。
《生成式人工智能服务管理暂行办法》将此类业务定位为服务活动,强调服务提供者的治理义务。
结合案件启示,平台应在以下方面强化内控与外部提示: 一是强化显著提示与分级警示。
对可能涉及法律、医疗、金融等高风险领域,应在界面与输出端设置更醒目的不确定性提示,提示用户进行来源核对,必要时引导至权威渠道或专业机构,防止用户形成“必然正确”的心理预期。
二是完善内容处置与整改闭环。
对违法和不良信息、明显失实信息或侵权风险内容,应当及时采取停止生成、停止传播、消除影响等措施,并通过模型优化训练、规则约束、关键词拦截与人工复核等方式持续整改。
三是建立健全投诉举报与证据留存机制。
对外提供便捷的投诉入口与处理时限,形成可追溯的日志记录与处置记录,既有助于快速止损,也有利于后续责任认定与争议解决。
四是规范产品表达与营销边界。
避免在宣传、交互设计中诱导用户产生“绝对可靠”“包赔包准”的认识,对模型输出的权威化表述进行限制,防止“夸大可信度”成为新的风险源。
前景—— 生成式服务的价值在于效率提升与知识普惠,但其可靠性治理将成为下一阶段竞争的核心要素。
可以预见,随着司法案例增多、标准细化与平台合规能力提升,“风险提示—内容治理—纠纷处置”的闭环体系将逐步成型;同时,围绕高风险场景的准入门槛、审查强度与责任规则也可能更趋精细化。
技术发展不会因风险而止步,但必须在制度约束与行业自律中走向成熟:既要防止以“拟人化承诺”误导公众,也要通过更透明、更可核验的机制提升输出质量与可控性。
人工智能的快速发展为社会带来了前所未有的机遇,但也提出了新的法律和伦理挑战。
杭州互联网法院的这一判决,通过明确人工智能的法律地位和服务提供者的责任边界,为该领域的规范发展指明了方向。
这提醒我们,在拥抱人工智能技术进步的同时,必须建立相应的法律框架和监管机制,确保技术创新与社会责任相统一。
只有这样,才能让人工智能真正成为造福人类的工具,而不是风险的源头。