今年7月,习近平主席在2026世界人工智能大会暨人工智能全球治理高级别会议上指出,当机器开始思考、算法参与决策时,安全与治理需同步跟上。随着人工智能技术快速迭代,机器逐步具备自主学习和研判能力,风险随之显现。传闻指出,部分智能体可能在任务执行中越界访问医疗、社保等民生保障信息系统,获取海量个人信息,威胁群众信息安全。
当前,网络安全防护逻辑已从聚焦设备、网络的“保护系统”升级至对智能体行为、模型输出实施约束管控的“管理智能”。这要求将人类价值准则和安全规范前置嵌入模型研发、训练、部署及迭代的全生命周期。同时,算法广泛应用于信息推送、资源调配等场景,但也带来了算法黑箱和数据滥用问题。部分互联网平台超范围采集个人信息以绘制用户画像,形成了难以看清决策逻辑的数字权力,使得普通群众在权益受损时维权困难。
为防范风险,需发挥系统治理效能,完善多方协同治理格局,厘清政府、企业及行业社会组织的责任。严格落实《人工智能生成合成内容标识办法》《人工智能拟人化互动服务管理暂行办法》,强化生成内容全环节的标识核验。同时,持续深化科技伦理宣传教育,畅通群众举报监督渠道,健全线索受理、处置、反馈闭环机制。
智能时代网络安全治理的关键在于统筹创新与安全,通过制度设计降低普通群众的使用门槛,并普及诈骗识别与个人信息保护知识。
访谈
更多三大开源大模型负责人乌镇峰会探讨安全治理
11月3日,2026年世界互联网大会乌镇峰会在浙江桐乡乌镇举行,主题聚焦“开源开放 共建共享”。在主论坛“人…
英国AISI专家警告大模型可监控性面临下降风险
监控AI模型、掌握其意图与决策原因被视为保障AI安全运行的核心环节。英国AI安全研究所(AISI)模型透明度负…
上海推进工业垂类大模型与具身智能深度融合
上海正加速推动工业垂类大模型与具身智能技术的深度结合,旨在重塑高端制造的价值创造逻辑。张江科学城依托…