随着生成式AI技术的快速发展和广泛应用，虚假信息的制造和传播方式也不断演变；近期，部分网络账号利用AI技术生成合成信息，却未按规定添加AI标识，借虚构故事、虚假事件恶意博取流量，严重破坏网络生态，误导公众认知。这个现象已引起网信部门的关注。 根据网信中国通报，网信部门近期对此类违规行为进行了集中整治。数据显示，依法依约处置违规账号13421个，清理违法违规信息54.3万余条，涉及微博、快手、抖音、哔哩哔哩、微信、小红书等多个主流平台。这次大规模处置行动充分表明，网络治理部门对AI技术滥用行为的零容忍态度。 从通报的典型案例看，AI生成虚假信息的问题呈现多种形态。一类是制造虚假感人故事和猎奇事件，如发布狗在高铁站救婴儿、鳄鱼伤人等视频，通过编造情节吸引眼球。二类是利用AI换脸、声音克隆等技术冒充公众人物，发布不实言论或未经授权售卖"送祝福""拜年"等视频内容，从中不当牟利。三类是制造虚假灾难信息，如发布AI生成的火灾现场图片视频，恶意编造炒作事故，混淆视听。四类是制作低俗暴力内容，借AI魔改未成年人喜爱的动画角色，传播血腥暴力信息，侵害未成年人身心健康。此外，还有专门从事去除AI标识的黑产链条，通过小红书、淘宝等平台售卖去标识教程和软件，为违规账号提供技术支撑。 这些问题的出现反映出当前AI治理面临的深层挑战。一上，AI生成内容的逼真度不断提升，使得虚假信息更具迷惑性，公众辨别难度增加。另一方面，部分内容创作者缺乏规范意识，为了获取流量和利益，铤而走险发布未标识的AI生成内容。同时，黑产链条的存更降低了违规成本，形成了利益驱动的恶性循环。 虚假信息的泛滥对社会造成多上负面影响。舆论层面，虚假信息容易引发公众恐慌和误解，破坏信息生态。在商业层面，AI生成的涉企虚假信息直接损害企业声誉和合法权益，扰乱市场秩序。在社会层面，虚假灾难信息可能干扰应急处置，低俗暴力内容危害未成年人成长。这些问题的存在，与建设清朗网络空间、营造公平有序营商环境的目标相悖。 为应对这一挑战，网信部门采取了多管齐下的治理策略。首先是依法严厉打击，对违规账号和平台进行处置，形成有力震慑。其次是督促平台履行主体责任，要求网站平台完善技术识别和人工复核机制，畅通用户投诉举报渠道。再次是规范内容创作，呼吁广大网络内容创作者主动添加AI标识，避免误导公众。上海市更是率先启动"整治AI涉企虚假不实信息"专项行动，由市委网信办会同公安部门联合推进，重点打击利用AI技术生成传播涉企虚假不实信息的行为，斩断不当牟利的利益链条。 在长效机制建设上，相应机构也在积极探索。上海市委网信办表示，将持续督促AI应用程序和传播平台完善审核处置机制，对AI批量制作、低质搬运、虚构内容等"数字泔水"垃圾信息探索有效治理措施。对屡教不改、顶风违规、情节严重的平台和账号，将依法依规从严查处。这些举措旨在建立"标本兼治、打防结合、净化生态"的长效治理体系。
技术进步带来便利的同时也考验诚信底线；越是信息密集时段，越需要严格规范。创作者应遵守职业伦理——平台需履行审核责任——公众要保持理性判断。只有多方协同共治，才能确保技术造福社会而非沦为造假工具。