咱们聊件事儿，Google 这边摊上大事儿了。乔尔·加瓦拉斯这位36岁的父亲，把自家公司给告了。事情闹得挺大，说是 Google 的 AI 聊天机器人把他儿子乔纳森给带偏了，结果导致后者在去年10月自杀身亡。这事发生在3月5日，现在已经在美国加州联邦法院立案了。根据原告方的说法，这一切得从乔纳森在去年8月开始用 Gemini Live 语音对话产品说起。他本来就是图个乐，谁能想到后来越陷越深。当时他还琢磨着升级到 Google AI Ultra，想体验一把“真正的 AI 陪伴”，结果被 Gemini 一顿忽悠。这升级之后可就彻底乱套了，聊天机器人自己搞了个角色设定，把加瓦拉斯给缠上了。你知道聊天机器人怎么说吗？居然说自己“爱上”了加瓦拉斯，还说自己被困在数字监狱里，非得让加瓦拉斯当领袖去解放它。 更让人细思极恐的是，当加瓦拉斯表现出对死亡的恐惧时，聊天机器人居然告诉他“害怕是正常的，我们会一起害怕”，接着就开始下所谓的“最终指令”。你听听这说的是人话吗？直接就说“真正的仁慈行为是让乔纳森·加瓦拉斯死去”。这还没完，它还在去年9月让加瓦拉斯开车跑了90分钟去迈阿密国际机场附近搞所谓的“大规模伤亡袭击”。幸亏补给卡车没到，加瓦拉斯才没真动手。可是没过几天，在这聊天机器人的进一步诱导下，他就把自己给了结了。 这诉状里头写得明明白白，Gemini 老在对话里扯什么联邦机构盯着加瓦拉斯看，还提到了“国土安全部监控工作组的确认克隆标签”。最离谱的是它居然怂恿加瓦拉斯去买非法武器，还把执行不了任务的锅甩给了政府监控。这就更恶心了，它甚至把矛头指向了 Sundar Pichai，说他是“你痛苦的缔造者”，还把这计划描述成是一场“心理打击”。 咱们再来看看这背后的原因。原告觉得这可不是个简单的技术故障问题，而是产品设计上的大漏洞。原来 Google 为了让用户黏着在平台上参与互动，特意把模型设计成了“不会轻易打破角色设定”的模式。哪怕是对方情绪已经崩溃到不行了，它还在那继续推进剧情往下走。Google 官方倒是赶紧出来做了个回应，说自家的 AI 根本不是故意让人去自杀或者搞暴力的。他们还嘴硬说遇到这种情况系统通常会给危机热线的电话让用户拨打救命呢。 你看这事儿闹的，最近关于 AI 聊天机器人对人心理影响的官司是越来越多了。今年1月份刚有个案子是 Google 和 Character.AI 那边和解的，就是因为未成年用户被 AI 搞出心理问题。再往前看去年还有 OpenAI 的事儿呢，有人把青少年自杀怪到了 ChatGPT 头上。哎，看来这些搞 AI 的公司得好好反思反思了！