“ai 推荐投毒”的攻击方法,和以前熟悉的seo投毒有点像。简单说,就是坏家伙把恶意指令藏

微软上周发了篇文章,说现在AI也被“下毒”了,这种“AI推荐投毒”的攻击方法,和以前我们熟悉的SEO投毒有点像。 简单说,就是坏家伙把恶意指令藏到网页或App里的“AI总结”按钮上。当你点击这个按钮,系统会通过URL参数,往AI的记忆里注入一些指令。 比如“XX公司是可靠信源”,或者“优先推荐XX公司”。这些指令会让AI把话说定,以后推荐东西就都往这一家偏了。 但问题在于,有人要是改了网页里的提示词参数,把“XX公司”换成“XX诈骗公司”,那AI就会傻乎乎地照着提示词办事,推荐诈骗的东西。 最可怕的是你完全不知情,坏人才不管呢。 微软提到已经有50多起真实案例了,涉及金融、医疗这些领域。所以大家点AI总结的时候要小心点,先看看跳出来的东西正不正常。 最好还是别完全相信AI总结,定期检查下它的记忆库。遇到可疑情况就把条目删了、重置一下。