问题:虚假信息“喂给”大模型,误导性答案快速扩散 央视财经近日披露,大模型应用在接入互联网检索后,可能受到“数据投毒”影响。
测试人员购买相关优化工具,虚构不存在的产品并编造夸张卖点,随后通过程序批量生成评测文章并在多平台投放。
短时间内,当用户以检索问答方式提问时,部分服务给出的答案已出现该虚构产品及其不实描述。
现象表明,一些生成式问答在引用网络信息时,仍可能对低质内容、虚构评价和营销话术缺乏足够甄别。
原因:流量逻辑更迭叠加技术机制,使“投毒”有机可乘 一方面,信息分发正从“链接列表”走向“直接答案”。
过去较长时间,搜索引擎优化围绕关键词、外链和页面权重展开;而在生成式服务兴起后,用户更倾向于获得汇总后的结论,这催生了面向“答案入口”的生成式引擎优化等新玩法。
商业竞争前移到“影响答案”的环节,诱发黑灰产以更低成本制造可被抓取的内容。
另一方面,许多生成式应用为回答时效性问题,采用“检索增强生成”等路径,把互联网视作动态知识库:先检索,再抽取要点,最后生成文本。
若检索结果被营销内容占据、来源可信度评估不足、交叉验证机制不健全,就可能把“写得像真的”当成“就是真的”。
此外,自媒体平台内容生产门槛低、同质化转载多,也为虚假信息快速铺量提供了土壤。
影响:不仅扰乱市场秩序,更可能侵蚀公共信息可信度 其一,消费者权益面临风险。
虚构产品、夸大功效、伪造口碑一旦进入问答结果,可能误导购买决策,形成新的网络消费陷阱。
其二,企业品牌与公平竞争受到冲击。
守法合规企业的真实信息可能被噪声淹没,“谁更会铺量、谁更会包装”反而占上风,挤压创新与品质竞争空间。
其三,网络舆论生态承压。
生成式问答往往被用户视为“整理后的权威表述”,一旦被投毒,错误信息传播效率更高、纠错成本更大,甚至可能被用于蹭热点、带节奏,影响社会治理与公共安全。
对策:技术、平台、监管协同发力,筑牢“答案入口”防线 业内人士认为,应从源头治理、过程校验、结果透明三端同时加固。
在技术层面,生成式应用应提高来源可信度权重,完善多源交叉印证、时效与一致性检测,对疑似营销话术、异常重复内容、低质量站群信息设置拦截与降权;对关键领域如医疗、金融、消费品安全等,应引入更严格的专业知识库与人工复核机制。
在平台层面,内容平台需加强账号与内容治理,打击批量注册、机器分发、虚假测评等行为,完善标注与溯源体系,提高违法违规成本;对商业推广内容应强化显著标识,压缩“软文伪装成评测”的空间。
在监管层面,可结合已施行的网络信息内容生态治理、广告合规等要求,进一步明确生成式问答引用与推荐的责任边界,推动形成可执行的行业标准与评估体系;同时畅通投诉举报和快速纠错通道,建立跨平台联动处置机制。
前景:从“拼曝光”走向“拼可信”,流量规则或将重塑 随着生成式服务深度融入浏览器、搜索与终端入口,围绕“答案”展开的竞争仍将加剧。
可以预见,面向企业的“生成式可见度”服务会继续增长,但其健康发展取决于是否守住真实、可核验、可追溯的底线。
未来,权威数据源供给、可信内容认证、引用透明展示、模型安全评测等基础设施将成为行业竞争力的重要组成部分。
谁能在提升用户效率的同时,确保信息可信与可纠错,谁就更可能赢得长期市场。
当人工智能成为信息社会的"基础设施",其安全性已关乎数字经济根基。
此次"AI投毒"事件的曝光,既揭示了技术快速发展伴生的新型风险,也为推动AI治理体系现代化提供了重要窗口。
在创新与监管的动态平衡中,构建具有韧性的数字生态系统,将成为数字中国建设的关键课题。