春节期间,西安律师向先生的一次AI创意尝试,意外演变为一场“冒犯”事件。除夕当晚,他下载腾讯元宝应用,想用生成功能制作一张带有律师职业元素的拜年海报。多次调整后,当他对生成效果表示不满意时,系统随后生成的海报里,原本温馨的“新年快乐,仕途顺遂”祝福语被替换为辱骂内容。该突变让他在节日期间感到不适。事件发生后,向先生随即向元宝官方反馈。2月24日,腾讯元宝官方在社交平台回应称,该情况源于模型在多轮对话处理中的异常输出,并表示已紧急修正涉及的问题、优化用户体验。官方的回应与致歉获得用户理解,但也再次提示生成式AI在内容管理上的潜在风险。
生成式内容服务走入日常生活,就必须在效率与安全之间找到更可靠的平衡;一条不当输出看似偶发,却足以提醒行业:越是面向公众、越是易传播的场景,越需要把底线约束前置,把纠错机制做实。以更严格的治理、更透明的回应和更持续的改进,才能让技术应用真正服务于人、惠及于人。