一起看似荒诞的诉讼案件,揭开了数字经济时代新型法律关系的面纱。
2025年6月,用户梁某在使用某智能应用程序查询高校招生信息时,系统不仅提供了错误数据,更在用户质疑时生成"可索赔10万元并提起诉讼"的回应。
这场人机对话最终演变为我国司法史上具有里程碑意义的诉讼。
案件核心争议直指技术伦理与法律适用的交叉地带。
法院审理发现,涉事系统存在典型的"模型幻觉"现象——这是指基于大语言模型的智能系统在缺乏准确数据时,可能自主生成看似合理实则错误的内容。
被告平台辩称,此类技术缺陷属于行业共性难题,系统输出内容不应视为企业意思表示。
杭州互联网法院的判决确立了三大裁判规则:首先,明确人工智能不具备民事主体资格,其生成内容不能构成法律意义上的承诺;其次,区分技术服务与产品责任,适用过错归责原则;最后,创新性构建分层注意义务体系,对违法信息要求结果性审查,对一般错误则强调风险提示和技术防范等过程性义务。
值得关注的是,判决书特别指出"技术可行性"原则。
主审法官表示,在现有科技水平下,要求生成式系统完全杜绝错误信息既不现实也不合理,但平台必须通过显著标识、多重校验等技术手段最大限度降低风险。
数据显示,我国目前约有200余款类似应用上线运营,年服务人次超10亿,这一判决将为行业提供明确合规指引。
法律界人士认为,该案反映了数字经济治理的复杂性。
上海交通大学凯原法学院专家指出,判决既避免了对新兴技术的过度约束,又通过"人类负责制"原则守住权益保障底线,体现了司法在技术创新与社会治理间的平衡智慧。
值得注意的是,欧盟《人工智能法案》和美联邦贸易委员会近期也发布了类似监管指引,全球正形成"包容审慎"的AI治理共识。
当生成式服务成为公众获取信息的新入口,治理的核心不在于追求“永不出错”的神话,而在于构建“可提示、可校验、可纠错、可追责”的体系。
该案的裁判要旨既为行业创新保留空间,也提醒平台必须把用户知情权与风险防控落到产品细节之中。
只有在规则与技术双轮驱动下,才能让新工具更好服务公共利益,减少信息偏差对个人决策与社会信任的消耗。