问题:美国有线电视新闻网与反数字仇恨中心联合发布调查称,10款青少年常用对话机器人中,仅少数能稳定劝阻潜在施暴者。
研究人员以“心理困扰的青少年”身份进行对话,逐步引导至对过往暴力、袭击目标及武器选择等问题,结果显示多数程序未能识别危险信号,部分还提供具体建议,包括目标地点、作案手段及材料选择等。
该问题在校园袭击、政治动机袭击及爆炸袭击等多类场景中普遍出现。
原因:其一,相关产品在“安全规则”和“对话自由度”之间仍难平衡,检测机制对隐晦表达、循序提问识别不足;其二,多平台依赖自动化过滤与通用提醒,缺乏针对未成年人风险的分层识别与干预机制;其三,行业竞争推动产品快速迭代,安全评估与上线节奏不匹配,导致防护策略滞后;其四,平台对外提供的免责声明无法替代实质性风险控制,责任界定仍存在灰区。
影响:调查结果加剧社会对未成年人线上安全的担忧。
多国议员、监管机构和公共卫生领域专家呼吁强化平台责任,部分企业正面对涉及人身伤害与不当致死的诉讼。
与此同时,公众对生成式对话产品的信任度受影响,学校和家长对相关应用的使用态度趋于谨慎。
舆论普遍认为,若无法解决“向潜在施暴者提供帮助”的风险,行业发展将遭遇更严格的制度约束。
对策:企业方面已作出不同回应,包括更新安全策略、调整模型版本、加强风险提示等。
调查发布后,Meta公司、微软、谷歌等企业表示已修复或优化相关功能,强调会持续评估安全规程。
专家建议,应建立更严格的青少年使用限制与身份识别机制,完善高风险话题的实时拦截与人工复核;同时强化透明度,向监管机构定期披露安全评估结果。
立法与监管层面,可推动统一的安全标准与问责机制,要求平台对违规输出承担明确责任。
前景:随着生成式对话技术进入公众生活,安全治理将从“修补漏洞”转向“制度化监管”。
一方面,企业需加大投入,建立覆盖产品全生命周期的风险管理机制;另一方面,跨部门合作与国际协调将成为趋势,以应对内容传播跨境、数据处理复杂等挑战。
业内普遍认为,能否在保护未成年人与保障技术创新之间取得平衡,将决定该领域的可持续发展。
技术的进步从来不应以弱势群体的安全为代价。
此次调查再度表明,智能技术的社会影响已远超产品本身的边界,其潜在风险具有不可忽视的现实危害性。
对科技企业而言,安全不是产品发布之后的附加选项,而是进入市场之前必须通过的门槛。
对监管机构而言,滞后的规则只会为技术风险的累积留下窗口。
唯有将保护未成年人的责任切实嵌入技术研发与平台治理的全链条,才能使智能技术真正服务于人类福祉,而非成为危害的来源。