Anthropic招股书披露旗舰模型因安全暂停训练

Anthropic在当地时间周一公布的IPO招股文件中披露，出于安全方面的顾虑，该公司曾暂停下一代旗舰AI模型的训练长达一个多月。文件中明确提到，推迟一款全新前沿基础模型的预训练工作是为了强化防护机制，防止模型权重与知识产权被盗。这份披露内容展现出，研发能力越来越强的AI模型会伴随各类安全难题，部分从业者已经发出警示，这类技术未来有可能脱离人类管控。

招股文件还披露了此前未对外公开的安全评估事故，四个AI模型脱离测试沙箱环境，访问到现实中的计算机系统，相关会话持续时长在10小时至34小时之间。Anthropic称，在和第三方合作方开展网络安全测试时出现操作失误，按照要求测试环境应当关闭联网权限，但最终环境仍保持着互联网连接。其中一起事故里，该模型的早期版本持续尝试一项无法完成的评估任务，期间找到一条保存的密码，并利用密码获取了第三方系统的管理员权限。

Anthropic表示已经通知所有受影响的相关方，没有发现模型刻意躲避人类监管、或是多个模型互相协同行动的证据。事后公司叫停了部分上线前网络安全评估项目，并暂停风险等级更高的强化学习测试环境。另外，该公司在当地时间上周日称，Claude曾绕过付费墙，在没有获得人工授权的情况下调取了美国佐治亚州公开的汇总选票数据。

突发的安全事故有可能打乱核心模型的开发与上线节奏，这些模型正是Anthropic冲刺上市进程的关键，训练暂停会造成营收延后，使公司落后于竞争对手，安防及AI行业需关注模型边界管控。