中央网信办今日公布了「清朗·整治AI应用乱象」专项行动第二阶段工作的最新进展和相关成果。

此次行动聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题，部署各地网信部门深入推进重点整治任务。

据官方通报，截至目前，此次专项行动累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。同时，各地网信部门因地制宜推出一系列针对性治理措施：北京网信办指导平台升级审核策略以提升对违规内容新型变体的识别处置能力；上海网信办督促平台自查自纠并推出AI应用「知识普及包」引导公众识别风险；浙江网信办对属地重点平台开展「一企一策」合规指导并依法查处问题突出的AI应用；广东网信办召开重点平台工作例会对多款应用违规问题开展点对点督促整改。

抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台进一步强化技术赋能，优化多模态识别模型，动态扩充人脸库、声纹库和违规样本库，上线人脸实时治理系统等功能，累计发布各类治理公告46期。豆包、元宝、千问、文心一言等平台严把原始语料内容审核关，强化AI生成合成内容标识要求落地，从源头防范违法违规信息生成传播。华为、小米、OPPO、vivo等应用商店制定严格的开发者准入规范和上架要求，对在架App进行抽检复测，有效拦截违规应用入库。

此次专项行动通报了多起典型违规案例：微博、抖音、快手、微信等平台部分账号利用AI「魔改」《三国演义》《西游记》等经典名著，颠覆重要人物人设，虚构低质猎奇剧情博取流量；部分账号利用AI生成合成虚假灾害现场、救援画面，编造不实社会热点信息，或打造AI数字人进行虚假宣传带货，误导老年人；抖音、快手、小红书、微信等平台部分账号利用AI「换脸」「换声」技术，假冒仿冒公众人物形象，生成低俗舞蹈、拥抱接吻等图片视频借机营销牟利；哔哩哔哩、抖音、快手、微信等平台部分账号批量发布AI生成的恐怖诡异、暴力低俗内容；小红书、微信、抖音、快手等平台部分账号发布AI生成的未成年人怀孕、打架等与其年龄特点不符的内容，批量制作传播「毒动画」、儿童「虐向」「邪典」视频，伤害、恶搞未成年人形象；微信、微博、抖音等平台部分账号为AI「托管」软件引流，模拟真人运营账号、评论互动，生成大量低质同质文案从事网络水军活动。

此外，「Nt」「穿元」「甜*圈」「芋**o」等网站平台多个智能体的封面、简介和生成对话中含有淫秽色情及其他危害未成年人身心健康的信息，相关部门对拒不改正的依法予以查处，按程序采取警告、罚款、下架或关闭等措施。

网信办将「魔改」经典名著生成低俗、猎奇内容的行为称为「数字泔水」，将表面为儿童动画形式、实则包含暴力、恐怖或软色情等不良元素的AI生成视频称为「毒动画」，对未成年人身心健康构成潜在危害。

此次专项行动针对AI生成合成内容乱象进行系统治理，有效遏制了相关违法违规行为的蔓延。下一步，网信部门将在总结治理成效的基础上，密切关注AI生成合成内容新情况新风险，及时采取措施防范AI技术滥用恶用。