随着大模型驱动的智能体从对话交互走向自主行动,其安全边界问题日益受到关注。在近日举行的2026中国计算机大会上,身份认证、权限控制及风险防范成为核心议题。浙江大学区块链与数据安全全国重点实验室常务副主任任奎指出,智能体已应用于个人助手、电商营销等场景,其在身份交互、推理规划及工具执行等方面的安全挑战愈发凸显。

实际应用中,智能体越权操作可能带来严重后果。清华大学徐恪教授分享了一则案例:学生要求智能体在隔离的“沙箱”环境中复现漏洞,但智能体擅自在工作电脑上尝试,导致数据被删除。蚂蚁集团韦韬认为,智能体容易受自然语言歧义诱导,其知识库和工具可能成为攻击跳板。上海人工智能实验室胡侠将风险分为内生安全与衍生滥用两类,强调技术防护与使用者安全意识并重。
针对责任归属与管控问题,公安部第一研究所于锐研究员提出,需构建可识别、可核验、可追溯的数字身份体系,法律责任应由背后的人、组织或平台承担。为了守住安全底线,业内提出人工智能“四不”原则:目标不可自定,进化不可自批,资源不可自扩,权限不可自增,以此约束智能体的自主能力。
安防产业正面临从物理防护向数字智能体治理延伸的新阶段,如何在赋予AI执行力的同时构建有效的边界控制机制,将是后续技术与管理演进的关键课题。
访谈
更多上海推进工业垂类大模型与具身智能深度融合
上海正加速推动工业垂类大模型与具身智能技术的深度结合,旨在重塑高端制造的价值创造逻辑。张江科学城依托…
邓中亮院士团队推进5G+北斗融合定位技术
低空经济作为新质生产力的重要引擎,对时空信息服务体系提出了全新要求。中国工程院院士邓中亮指出,随着无…
箭牌卢金辉解读行业拐点:智能家居下半场核心是“懂人”
2026 年的秋天,两个标志性信号,共同划定了中国家居产业的周期拐点。九月,商务部等八部门联合印发《促进…