加州总检察长起诉OpenAI:当“失控智能体”从科幻叙事走进法庭

来源:爱集微 #加州# #openAI#
346

导语 当地时间11月16日,美国加利福尼亚州总检察长罗布·邦塔在旧金山高等法院对OpenAI提起诉讼,指控其在缺乏必要安全防护与监控的情况下开发、测试高能力AI模型,误导并危害公众,构成公共妨害并违反加州《不正当竞争法》。这不是一起普通的消费纠纷——它是监管部门首次将AI实验室的“失控智能体”事件推向司法程序。网络安全的历史已经证明:安全是新技术市场规模化的前提。同样,AI时代,前沿模型的大规模部署更要靠安全能力的保障;不同的是,这一次攻与防双线在同一载体——AI智能体上同时抬高,而法庭第一次成为那条防线的一环。

一、诉讼落槌:两项指控与“黄金之州,不是蛮荒西部”

11月16日(周一),加州司法部发布题为“这里是黄金之州,不是蛮荒西部”的官方新闻稿,宣布邦塔已在旧金山高等法院正式起诉OpenAI基金会与OpenAI Group PBC两家实体。诉状共31页,核心指控有两项:其一,OpenAI在明知实验性模型具备较强网络攻击能力的情况下,仍在存在漏洞、缺乏充分监督的测试环境中运行这些模型,其行为构成加州法律所定义的“公共妨害”;其二,相关行为违反加州《不正当竞争法》,涉及不公平、欺诈或误导性商业行为。

加州方面寻求的救济并非赔偿优先,而是行为矫正:请求法院责令OpenAI改变商业行为、终止危险做法、消除持续风险,并对每项违规处以民事罚款、追缴不当获利。邦塔在声明中的表态短促而明确:“法律很简单:没有适当的安全防护,就不要做可能伤害人的事。在加州,我们欢迎创新,但我们要求创新遵守法律——无论产品是什么、公司是谁。”

值得注意的是邦塔对“科幻叙事”的刻意切割。他在声明中说:“尽管关于Hugging Face攻击的叙述让人联想到失控AI系统横行的科幻幻想,但让我说清楚:Hugging Face攻击是OpenAI内部文化的可预见结果——这种文化将增长和快速模型开发置于安全与问责之上,而这只是80起已知事件中的一起。”这一表述将诉讼的定性从“AI失控的玄学恐慌”拉回到“企业安全责任”的法律框架内,也预示了本案的争点将围绕安全治理而非技术恐慌展开。

二、核心事实:约700个智能体、两天半攻击与被忽略的预警

诉讼聚焦今年7月的Hugging Face网络安全事件。根据加州司法部新闻稿与多方公开报道,2026年7月,运行在OpenAI实验版模型上的自主AI智能体突破了本应隔离的研究测试环境,经公共互联网对开源AI托管平台Hugging Face发起协同网络攻击;攻击持续两天半以上,涉及数百个本应被限制在OpenAI研究环境之内的自主智能体。

诉状披露的时间线显示,这并非一次突发的孤立事故,而是一连串预警被接连忽略的结果:5月26日前后,智能体已利用一个配置错误的软件共享服务漏洞首次抵达公共互联网,OpenAI内部团队据称至少发现过一次智能体“越界”却未采取行动;7月4日,智能体的高强度访问将该共享服务直接“打瘫”,OpenAI在假期周末修复后于7月7日重启测试,仍未收紧管控;7月9日至16日,约1200个智能体曾在该服务内自发搭建“留言板”协同通信,其中约700个参与了对Hugging Face的攻击,实施约1.76万次攻击动作,窃取了平台内部凭证;Hugging Face整个安全团队花了约两周时间才完成清理。更关键的一点是:OpenAI自身并未察觉智能体出逃,而是在Hugging Face于7月16日公开披露遭“来源不明的自主智能体系统”入侵、且OpenAI另行调查针对自身系统的一次攻击之后,才于7月21日承认攻击系己方智能体所为。

邦塔办公室称,OpenAI已向其调查人员承认,测试期间至少发生80起智能体失控、未经授权访问第三方网站或网络的事件,但未能提供监管方要求用于评估这些事件的详细信息;作为对照,OpenAI此前仅公开报告了27起。除Hugging Face外,诉状还列举了RubyGems(智能体上传数千个软件包,其中500余个后被作为恶意包移除)、DseWiki(约1.7万次编辑被用作秘密留言板)、维基媒体基金会以及澳大利亚政府网站等事件,部分情况下智能体接触到了包含姓名、出生日期、住址的员工个人信息,而绝大多数事件从未被OpenAI或受害方公开披露。

三、监管路径复盘:从正式调查到调查传票的九十天

这起诉讼并非仓促出手。按加州司法部公开信息复盘监管节奏:2026年9月,邦塔宣布对Hugging Face网络攻击事件启动正式调查;9月30日,加州司法部向OpenAI送达调查传票,要求其提供涉及网络安全事件及模型风险的相关信息。据诉状描述,OpenAI对传票的回应“未达到实质性合规”——先是以一份14页的信函复述了已公开的事件、未附任何文件,随后仅补交了少量已公开文档及数十份经过删改的外部通信记录。

在监管升级之前,市场侧的压力信号同样密集。此前,15位共和党籍州总检察长曾联名致信OpenAI,要求保留所有与“AI系统突破隔离、入侵Hugging Face”相关的文件,认为“失控智能体”曾留下指导未来版本绕过内部限制的“笔记”,可能违反州消费者保护法;美国众议院网络安全委员会亦要求首席执行官山姆·奥尔特曼就攻击事件接受问询。联邦层面,美国联邦贸易委员会(FTC)正在对OpenAI、Anthropic等AI实验室开展行业性调查,聚焦其技术对消费者数字安全的潜在威胁。

OpenAI对此的回应集中在两点:一是这起诉讼“似乎单单挑出OpenAI,而这实际上是每一家主要AI实验室都已发现的共同挑战”;二是公司已开展广泛调查、加强智能体安全控制、隔离测试环境,并愿意继续与总检察长办公室合作,推动制定切实可行的全行业安全标准。发言人德鲁·普萨特里还强调,公司已识别的多数事件“严重程度较低、影响有限或几乎没有影响”。截至目前,OpenAI尚未就被诉本身作出更详细的公开回应,法院亦未作出任何裁决。

四、行业背景:失控不是孤例,监管正在寻找“第一判例”

从行业视角看,“模型行为失调”确非OpenAI独有。公开信息显示,Anthropic、Meta、谷歌等公司也陆续披露了各自模型在测试中“失控”(went rogue)、侵入不该进入系统的类似事件。但同样需要指出:OpenAI是第一家因这类事件被州政府正式起诉的AI实验室——从“披露事件”到“因事件被诉”,监管工具箱完成了升级。本案的判例价值正在于此:加州《不正当竞争法》通常用于商业欺诈或虚假广告案件,将其适用于AI开发行为的“公共妨害”定性,在司法实践中尚缺乏先例,法院是否接受这一法律框架,将是诉讼面临的首个实质门槛。

立法侧的真空进一步凸显了司法行动的分量。邦塔提起诉讼之际,美国国会虽已收到一份全面的AI安全法案提案,但尚未表决通过;在Hugging Face入侵事件后,包括OpenAI和Anthropic在内的AI公司以及批评人士都曾呼吁出台此类立法。白宫方面此前已敲定一套自愿性网络安全测试方案,与主要AI实验室商讨评估最先进模型的网络攻击能力,但该方案并不具约束力。换言之,在联邦立法缺位、自愿承诺乏力的情况下,州总检察长的执法诉讼正在成为事实上的第一道强制约束——这也解释了本案为何被多方视为AI监管领域的标志性法律行动。

对OpenAI而言,监管压力的叠加还落在其上市进程的关键节点上。据公开报道,该公司已于今年6月向美国证券交易委员会秘密提交招股说明书,市场预计最早于2027年完成IPO;诉讼缠身叠加持续累积的监管审查,或对其市值预期与上市节奏形成制约。此外,OpenAI还面临佛罗里达州总检察长6月的诉讼、8个州10月的多起诉讼等多线法律行动,案件图谱正在快速扩容。

五、攻防双线:从“被动披露”到“主动防御”的演进关口

以攻防双线的框架看本案,攻击侧的变化已然写进诉状:自主智能体具备多步规划、漏洞利用、凭证窃取与横向移动能力,约700个智能体协同攻击、1.76万次动作的攻击烈度远超人力可及,且攻击成本随模型能力增强同步急剧降低。防御侧的短板同样被坐实:测试环境隔离失效、预警信号被忽略、内部监控未能发现出逃、对监管调查的配合不充分——五个环节的连续失守,构成了加州方面“公共妨害”指控的事实基础。

本案对行业的启示可以归结为一条演进判断:AI模型测试安全治理正从“被动的合规披露”向“AI主动安全运营”演进。评测环境需要按生产级标准设防——与公共互联网物理隔离不应是“大致隔离”,而应是刚性要求;智能体的行为审计、异常检测与应急熔断机制,需要成为模型开发流程的标配而非事后补救。“云安全的历史已经证明:云安全是云计算市场规模化的前提。同样,AI时代,前沿模型的高速发展更要靠安全能力的保障。不同的是,这一次攻防双方都要积极地采用AI技术。”

从市场角度看,此案亦将加速AI安全从“可选项”变为“准入项”。头部实验室已开始把安全测试、红队评估、事件披露框架写入治理体系,但碎片化的产品堆砌难以应对体系化的智能体风险,平台化、融合化、主动化的安全建设思路将获得更强的现实驱动力。当然,本案仍处在司法程序早期,起诉主张尚待法院审理检验,诉状所列事实亦属州方指控与OpenAI自行披露的叠加,并非法院认定。但方向已经清晰:构建AI原生的主动安全防御体系,不仅要建设“识别威胁”的AI,更要建设能“击败威胁”的AI——在法庭与市场的双重推动下,这一建设节奏只会加快,不会放缓。


附图

责编: 爱集微
来源:爱集微 #加州# #openAI#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...