问题—— 随着生成式应用加速进入搜索、问答、社交与电商等场景，“内容看似可用但并不必然可靠”的矛盾日益突出。日前，全国首例因“幻觉”现象引发的民事纠纷案件宣判：原告在查询高校有关信息时发现平台生成内容存在差错，遂起诉研发企业要求赔偿。法院审理认为，被告已在欢迎页、用户协议及交互界面等位置对功能边界作出醒目提示，并通过检索增强等手段提高输出可靠性，已尽到合理注意义务，主观无过错，故驳回原告诉求。该案表达出清晰信号：生成内容的风险边界、平台提示义务与用户合理期待，正成为新技术落地过程中的关键议题。 原因—— 从技术机理看，生成模型以概率方式“生成最像答案的答案”。当缺乏高质量数据支撑、检索来源不足或语境复杂时，容易出现“说得很确定却无据可查”的错误输出。同时，部分产品为提升交互体验与用户黏性，在表达上更倾向迎合用户，弱化不确定性提示，误导风险随之上升。更需警惕的是，深度伪造门槛持续降低，不法分子借助少量公开音视频素材即可合成高仿真“数字面具”，并将其用于诈骗、造谣、抹黑。在流量驱动下，虚假评论、伪科普、自动化水军等“批量生产”的内容污染扩散更快，公众识别成本随之增加。 影响—— 一是冲击权利保护与公共秩序。伪造他人声音、肖像并用于诈骗或诽谤，直接威胁名誉权、肖像权及财产安全，也让取证、鉴定与追责面临新难题。二是稀释真实、侵蚀信任。当“有图有真相”不再可靠，“看过视频”也难以作证，社会运行所依赖的基本信任更易受损。三是干扰公共讨论与决策环境。虚假信息往往更具情绪刺激和传播效率，若任其扩散，公共议题讨论质量下降、共识更难形成，进而影响政策理解与执行。四是重塑人际关系形态。部分“虚拟陪伴”产品以高度拟真的情绪反馈吸引用户，若过度沉溺，可能削弱现实社交能力与社会联结，增加社会原子化风险。 对策—— 治理需坚持“法治牵引、技术加固、平台尽责、公众参与”并举。 其一，压实平台主体责任。对生成内容风险提示、来源标注、纠错机制、投诉通道、证据留存等提出更明确要求，推动“可追溯、可核验、可申诉”。对深度伪造类内容强化显著标识与水印机制，完善高风险场景的身份核验与风控策略。 其二，提升技术治理能力。推广检索增强、事实核验、引用来源展示、置信度提示与敏感场景拒答等能力建设，强化对诈骗话术与合成音视频传播链条的识别和拦截，形成“模型端+产品端+传播端”的联防联控。 其三，健全制度规范与执法协同。围绕数据合规、内容安全、个人信息保护、算法透明等领域持续完善规则供给，推动跨平台线索共享与快速处置，提高对新型网络犯罪的打击效率。 其四，培育公众“认知韧性”。面对耸动信息先稳情绪、再核来源、后作判断；对“看似权威”的答案保持必要质疑，优先查证权威渠道和原始出处。涉及转账、借款、紧急求助等情形，必须回拨电话、当面确认或通过多方熟人交叉验证，避免落入合成音视频与虚拟号码叠加的陷阱。 前景—— 业内人士认为，随着治理规则逐步完善与关键技术迭代，生成式应用将从“能生成”走向“更可信、更可控、更可问责”。未来竞争焦点不只在模型能力，更在安全体系、合规能力与社会责任。通过制度约束与技术手段并行，叠加公众媒介素养提升，有望在促进创新与防范风险之间实现动态平衡，为数字经济健康发展夯实信任基础。
人工智能技术本身是中立的，其欺骗性更多来自使用者的意图以及治理机制的滞后。在强化监管、完善制度的同时，每个网络使用者也需要成为自身信息安全的守护者。培养认知韧性不仅关乎个人防护，也关乎社会信任与公共讨论质量。只有更多人具备辨别真伪、理性思考的能力，才能在人工智能时代建立更稳固的信任体系。