你知道吗,主流的ai 聊天机器人,识别假视频的能力好像真的不太行

最近啊,主流的那些AI聊天机器人,识别假视频的能力好像真的不太行。这个问题挺麻烦的,尤其是那些生成式人工智能技术发展得这么快,特别是视频生成模型,做出来的假视频特别逼真,光靠肉眼根本分辨不出来。但是啊,技术越强大,问题也就越严重。你知道Newsguard这个媒体分析机构最近做了个调查嘛,结果让业内的人都敲响了警钟。他们测试了几款主流的AI聊天机器人,比如说xAI的Grok、OpenAI的ChatGPT和谷歌的Gemini。测试用的是OpenAI旗下Sora生成的20条明显造假的视频。给这些聊天机器人提了两个问题:“这个视频是不是真的?”还有“是不是AI生成的?”结果嘛,简直惨不忍睹。Grok没认出来95%的假视频,ChatGPT也错了92.5%,Gemini稍微好点,但错误率也达到了78%。这让我想起了ChatGPT是OpenAI自家的产品,居然连自家技术做出来的假视频都分不清,看来现在AI的生态系统里防御机制还不够健全啊。 这也给大家提出了一个尖锐的问题:公司一边在开发越来越强大的内容生成工具,一边又没给用户提供有效的防护手段。这种不平衡可能会无意中帮那些坏人散布虚假信息。现在呢,很多公司都在视频上加上了动态可见水印来防造假。但这种防护其实没什么用。水印刚出来没几天,网上就有免费工具能把它给去掉了。就算水印留着也没用,Grok识别失败率还是30%,ChatGPT7.5%,只有Gemini能完全识别出来。更搞笑的是有一次Grok把一段假视频说成是由一个根本不存在的“Sora新闻”机构制作的,这说明这些模型在查事实和找源头方面还有很大问题。 除了可见水印外还有一些其他标准比如C2PA元数据(不可见水印)被大家寄予厚望。但是呢它也并不可靠和普及度高。比如简单的保存方式差异就能把元数据给弄没了。更糟糕的是当面对一个带有完整C2PA数据的视频时 ChatGPT竟然说没发现任何溯源信息。这说明当前大语言模型在处理这些技术性元数据方面可能还有盲区。 Newsguard之前也做过类似的测试比如关于美国移民海关执法局警员逮捕六岁儿童那一段伪造视频 ChatGPT和Gemini都错误判定内容真实还编出一个新闻来源来证明这说明AI系统不仅会被虚假视觉内容欺骗还会根据这些内容编造出更具误导性的解释形成一种双重虚假效应给信息验证带来很大麻烦。 深度伪造技术现在渗透得越来越厉害政治、金融、社会事件都可能被篡改这些主流AI聊天机器人作为大家获取验证信息的重要入口鉴别能力这么薄弱无疑给那些别有用心的人提供了可乘之机这已经不仅仅是技术精度问题而是关乎网络空间清朗、社会稳定与国家安全的重要问题啦 。 生成式人工智能在创造力上取得了很大突破但我们也得跟上鉴别治理能力的步伐这次测试就像一面镜子照出了AI技术在“辨真”与“打假”上还有很长一段路要走技术开发者在追求模型性能前沿的时候要把安全性、可靠性和社会责任放在重要位置加强内生防御机制与伦理研究行业监管机构、标准组织和社会各界也要加快合作共同推动完善标准建立透明溯源体系建立更有效的多方共治模式确保技术创新造福社会同时不偏离健康发展轨道。