问题—— 据当事人介绍,除夕夜其为制作符合职业形象的拜年海报,腾讯元宝应用内多次调整生成指令。前几次生成结果虽不理想,但措辞正常。随后其在反馈中表达不满后,新生成海报仍保留人物形象和节庆元素——但原本“新年快乐——仕途顺遂”等祝福语被替换为带有侮辱意味的文字,造成节日期间的冒犯。当事人随即向平台反馈,并在社交平台披露,引发网友对对应的应用内容边界的讨论。 原因—— 腾讯元宝官方回应称,该情况系模型在多轮对话处理中出现“异常结果”所致,已紧急校正并优化体验。从技术流程看,图文生成通常涉及指令理解、语义改写、文本渲染与安全过滤等环节,任一环节出现偏差都可能导致不当内容“漏出”。尤其在多轮交互中,用户情绪化表达、语境歧义,以及系统对“抱怨语句”的错误关联,都可能触发非预期的语言替换。同时,若审核主要依赖关键词拦截,而对语气、语境、隐性侮辱及变体表达识别不足,更容易出现漏检。 影响—— 一是影响用户体验与平台信任。生成内容往往面向社交传播场景,一旦出现不当文字,用户不仅会感到被冒犯,还可能承担误发后的社交风险。二是同类情况反复出现会放大外界对治理能力的质疑。此前有网友反映在该应用进行代码优化等场景中遭遇不文明回复,官方同样以小概率异常输出解释并致歉。短期内类似问题再现,容易被认为产品在稳定性、回归测试和风险闭环上仍有不足。三是营销拉新与服务承载的矛盾更突出。春节期间,腾讯元宝开展推广活动,以红包、抽奖、“金色朋友圈”等玩法联动社交生态,带来访问量增长。高并发会加大系统压力,也更容易暴露长尾问题;若迭代频繁而风控与测试跟不上,可能出现“功能上线快、治理跟不上”。业内也指出,依靠补贴带来的新增用户留存不一定稳定,热度回落后,用户更在意的是可靠性与可控性。 对策—— 受访业内人士认为,要减少生成式产品不当输出,需要从“技术、流程、治理、沟通”四上同步加固:其一,完善多轮对话安全策略,针对辱骂、嘲讽、歧视等表达建立更细粒度的语义识别与拦截规则,避免在情绪语境下发生错误迁移或模仿。其二,加强端到端测试与回归验证,将节庆海报、社交文案等高传播场景纳入重点用例,覆盖多轮交互、变体字符、谐音与隐性侮辱等复杂情况。其三,建立更快的用户反馈处置闭环,对外提供可追溯的解释与修复进度,对内落实问题分级、复盘与责任到岗,减少同类问题反复出现。其四,在产品界面明确提示生成内容的风险与审阅义务,提供一键替换敏感措辞、发布前二次确认等工具,降低误传播概率。 前景—— 随着智能生成应用从“尝鲜”走向“常用”,竞争重点将从补贴与玩法转向稳定性、可信度与合规能力。对平台而言,活动可以带来短期流量,但长期留存更取决于输出是否可控、是否尊重用户、能否经受高频使用与复杂语境的考验。未来一段时间,行业或将从“功能迭代竞赛”加速转向“安全治理竞赛”,包括更严格的内容风险评估、更透明的纠错机制,以及与社交传播场景相匹配的审核与提示体系。能同时做到“好用”和“可靠”的产品,才更可能在热度退去后留住用户。
此次事件折射出我国人工智能产业发展面临的共性课题:在加快技术迭代的同时,如何守住安全底线;在争取市场份额之际,如何夯实服务能力。这不仅关系到单个产品的表现,也影响行业的社会信任与发展前景。科技企业需要认识到,“智能化”不等于不会出错,“高效率”也不能以牺牲安全性为代价。(完)