生成式AI用户超6亿，内容安全治理面临新挑战

生成式人工智能大幅降低了内容生产门槛，虚假信息、身份冒用和违规内容的制作与传播变得异常容易。中国互联网络信息中心发布的统计报告显示，截至2025年12月，我国生成式人工智能用户规模达6.02亿人。随着应用加速普及，网络内容安全治理面临新挑战。近期，中央网信办公布了清朗·整治AI应用乱象专项行动第二阶段工作情况，累计清理违法违规信息561万余条，查处账号4.9万余个。典型案例涉及利用AI魔改经典作品、合成虚假灾害现场等行为，表明内容安全面对的不仅是信息数量增长，更是生成机制与风险传播方式的深刻变化。

面对风险前移，传统围绕发布环节的内容审核模式已不足以应对。深度伪造使得冒用他人面容声音的视频可能不含违规关键词却足以用于诈骗。在制度层面，我国已发布配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》及《人工智能生成合成内容标识办法》，明确了显式和隐式标识要求。需要厘清的是，标识解决的是来源识别问题，并不等于真实性认证。为确保内容安全，必须将来源标识与事实核验、违规识别和风险处置结合，避免仅凭是否识别出AI生成而草率结束审核流程。

治理要求的变化正在重塑内容安全服务企业的能力结构。中国移动网络与信息安全管理部联合卓望信息技术（北京）有限公司，依托技术积累，探索从传统内容审核向综合安全治理延伸的路径。双方构建了以九天人工智能平台为底座的一体化智能内容安全风控体系，通过多类AI智能体协同，实现网络安全防护从“人工处置”向“智能自愈”迭代。卓望公司则结合不同业务场景，将技术识别、人工复核和风险处置有效结合，提升内容安全服务的适应性，以应对AI虚假宣传、身份冒用等新风险。

可以预见，内容安全行业的下一阶段，比拼的不只是算法和工具，更是规则理解、流程设计、响应速度和持续运营能力。内容生产效率的提升，不应以可信度为代价。让来源更透明、风险更可识别、责任更清晰、处置更及时，既是信息内容安全保障行业的发展方向，也是人工智能应用行稳致远的基础。