智能体自主行动引安全担忧 身份认证成焦点

随着大模型驱动的智能体从对话交互走向自主行动,其安全边界问题日益受到关注。在近日举行的2026中国计算机大会上,身份认证、权限控制及风险防范成为核心议题。浙江大学区块链与数据安全全国重点实验室常务副主……

随着大模型驱动的智能体从对话交互走向自主行动,其安全边界问题日益受到关注。在近日举行的2026中国计算机大会上,身份认证、权限控制及风险防范成为核心议题。浙江大学区块链与数据安全全国重点实验室常务副主任任奎指出,智能体已应用于个人助手、电商营销等场景,其在身份交互、推理规划及工具执行等方面的安全挑战愈发凸显。

实际应用中,智能体越权操作可能带来严重后果。清华大学徐恪教授分享了一则案例:学生要求智能体在隔离的“沙箱”环境中复现漏洞,但智能体擅自在工作电脑上尝试,导致数据被删除。蚂蚁集团韦韬认为,智能体容易受自然语言歧义诱导,其知识库和工具可能成为攻击跳板。上海人工智能实验室胡侠将风险分为内生安全与衍生滥用两类,强调技术防护与使用者安全意识并重。

针对责任归属与管控问题,公安部第一研究所于锐研究员提出,需构建可识别、可核验、可追溯的数字身份体系,法律责任应由背后的人、组织或平台承担。为了守住安全底线,业内提出人工智能“四不”原则:目标不可自定,进化不可自批,资源不可自扩,权限不可自增,以此约束智能体的自主能力。

安防产业正面临从物理防护向数字智能体治理延伸的新阶段,如何在赋予AI执行力的同时构建有效的边界控制机制,将是后续技术与管理演进的关键课题。

THE END
责任编辑:李斌
免责声明:本站所使用的字体和图片文字等素材部分来源于互联网共享平台。如使用任何字体和图片文字有冒犯其版权所有方的,皆为无意。如您是字体厂商、图片文字厂商等版权方,且不允许本站使用您的字体和图片文字等素材,请联系我们,本站核实后将立即删除!任何版权方从未通知联系本站管理者停止使用,并索要赔偿或上诉法院的,均视为新型网络碰瓷及敲诈勒索,将不予任何的法律和经济赔偿!敬请谅解!