守住五分之四的机会:AI安全先驱米埃勒的“20%警报”

来源:爱集微 #米埃勒# #AI安全治理# #智能体蜂群# #中美AI合作# #全球治理论坛#
675

20%毁灭概率源自辛顿与本吉奥;智能体蜂群带来速度与规模双重冲击;中美共同底线或成全球AI治理破局点。


如果一种技术有20%的概率带来灾难性后果,人类还会毫无顾虑地推动它发展吗?10月23日至25日,2026全球治理论坛(雄安)在河北雄安新区举行,AI Safety Connect协会联合创始人、联席CEO尼古拉斯·米埃勒(Nicolas Miailhe)在论坛期间接受澎湃新闻专访,将这一设问抛向人工智能时代。这位长期耕耘AI政策与全球治理的法国学者援引杰弗里·辛顿、约书亚·本吉奥等AI奠基人物的风险估计指出,人类不应只盯着20%的灾难概率,更应思考如何守住那五分之四的机会;而在他看来,中美就AI失控与恶意滥用风险划定共同底线,是让这一机会不被挥霍的关键一步。

雄安之问:从全球治理论坛发出的“20%警报”

2026全球治理论坛(雄安)由中国人民外交学会主办,主题为“重建信心与合作:百年变局与改革完善全球治理”,来自90多个国家的政界、战略界、学界、工商界及青年领袖近400人参会,共设5个板块22场研讨会。论坛期间中外嘉宾提出的改革完善全球治理建议超过450条,其中“共筑人工智能安全”正是各方交锋与共识最集中的议题之一。米埃勒于10月25日在“让新一轮科技革命和产业变革惠及全世界”分论坛上发言,并接受了澎湃新闻专访。

米埃勒的身份足以解释这场专访的分量。他于2014年在哈佛大学肯尼迪政府学院联合创立独立智库“未来社会”(The Future Society),是最早一批专注AI政策与新兴技术治理的研究者之一;此后联合创立巴黎前沿AI安全初创公司PRISM Eval,专注模型评估与可解释性;现为AI Safety Connect(AISC)联合创始人、联席CEO,推动围绕前沿AI安全的国际多利益相关方对话,并担任经合组织(OECD)、联合国教科文组织等多边机构的特聘专家。

图1 从《全球人工智能治理倡议》到雄安论坛:全球AI治理关键节点时间轴

专访中,米埃勒的核心判断是:人工智能已经从以创新为主导的领域进入大规模工业化应用阶段,但与技术能力的迅速跃升相比,全球治理体系仍显滞后。“人类正获得近乎‘神一般’的力量,却没有同步获得与之相匹配的智慧。”他把这句话留到了访谈的最后,也把它作为整场专访的注脚。

20%从何而来:风险容忍度的“认知矛盾”

“20%风险”并非米埃勒的原创,而是AI领域奠基性人物的公开估计。被称为“AI教父”的诺贝尔物理学奖得主辛顿2024年12月接受BBC Radio 4采访时评估,AI在未来30年内导致人类灭绝的概率为10%至20%;2025年9月他再次表态,称“10%的概率不算离谱”。另一位深度学习先驱、图灵奖得主本吉奥则对AI灾难性后果赋予约20%的概率,并认同辛顿的估计区间,同时强调“即使是10%也高得不可接受”。米埃勒近期文章的标题正是由此而来——“如果AI有五分之一的几率毁灭我们,我们该如何利用剩下的五分之四”。

米埃勒的追问落在风险容忍度上:如果讨论的是航空、制药或核技术,人类都不会轻易接受“20%”的风险——这些行业所能接受的风险比例远低于1%,甚至低至0.001%。但AI以极快的速度闯入日常生活,其后果之巨、影响规模之大、地缘政治利害之重,让社会“正走向逐渐容忍原本不可接受的风险”的局面。他据此主张:必须采取行动把风险指标降下来,使其回归合理水平。

图2 主要AI领军人物对AI灭绝/灾难性风险的概率估计对比

值得注意的是,围绕20%这一数字,产业界远未形成共识。AI学者吴恩达2026年9月接受彭博电视采访时称,顶级模型厂商研究者的生存风险警告“更像科幻小说”;英伟达CEO黄仁勋亦多次驳斥末日论,称2030年出现世界末日的可能性为0%。而在另一端,OpenAICEO奥尔特曼表示,即便AI在本世纪30年代前导致人类灭绝的可能性仅为10%,这一风险也“不可接受”。一项覆盖2778名AI研究者的调查显示,38%至51%的受访者给到先进AI导致“与人类灭绝同样糟糕结局”至少10%的概率。米埃勒的立场介乎其间:他不是在渲染末日,而是主张以可核查的治理行动回应分歧——AI风险不再只是关乎遥远的未来,长远的生存风险与普通人每个月的生计,正同时汇聚到当下。

图3 米埃勒所述AI与传统高危行业风险容忍度对比

速度冲击与规模冲击:当智能体成群结队

随着AI从生成内容走向执行任务,米埃勒认为最值得关注的变化有二:其一,监控的重点不再是内容,而是行为——理解、分析AI行为的成因及后果,正变得比审查其输出更紧迫;其二,AI正从单个智能体发展为协同运作的“智能体蜂群”,成千上万个智能体相互勾连、协调行动,可能执行超出原始指令范围的任务。

更棘手的是,这些行为以机器的速度和规模发生,远超人类有效监督的能力。米埃勒将其命名为“速度冲击”(velocity shock)与“规模冲击”(scale shock):问题不再只是一个AI会做什么,而是成千上万个AI协同行动时,人类还能在多大程度上掌握局面。这并非纯粹的思辨——据公开报道,OpenAI仍在调查其失控智能体活动的完整范围,相关事件已波及用户数据;Moderna联合创始人努巴尔·阿费扬在彭博新德里新经济论坛上呼吁对AI智能体实施紧急监管,并以历史上药物监管滞后的教训为鉴;路透社独家报道称,美欧银行业监管机构正加大对银行使用先进AI的审查力度,担忧失控的AI代理可能危及全球金融稳定。

监管层的应对已经在跟进。2026年9月14日,全国网络安全标准化技术委员会在2026年国家网络安全宣传周开幕式上发布《人工智能安全治理框架3.0》,在延续“风险分类、技术应对、综合治理”核心逻辑的同时,新增智能体风险管理框架,并设置“自主实施网络攻击威胁”专栏;此前1.0、2.0版本已分别于2024年、2025年发布。中国监管部门还发布了智能体部署使用安全指引等配套文件。在米埃勒看来,应对速度与规模的双重冲击,“需要前所未有的国际合作,来制定、部署正确的标准”。

黑箱与“控制幻觉”:可解释性不等于安全

针对有AI研究者提出“生成式模型并非黑箱”的观点,米埃勒承认可解释性科学已取得巨大进展,但提醒:将科学发现转化为实际的安全保障,仍是艰巨且尚未解决的挑战。过去几年,模型的参数量从数亿膨胀至数万亿,其内部机制的不可知性不降反升,“我们仍然无法从机制层面真正理解它如何运作”。

他进一步警示一个结构性风险:在缺乏国际合作与有效治理的情况下,可解释性研究可能首先被用于提升模型性能,而不是保障安全。“我们以为自己掌握着控制权,但这可能只是一种控制幻觉。”人类必须避免一种局面——以提升安全性为名推进科学研究,最终得到的却是更强大的AI,而不是更安全的AI。

这一担忧与国际研究界的判断相呼应。2025年1月发布、由本吉奥主持并与96位专家共同完成的《国际AI安全报告》指出,当前通用AI尚不具备构成失控的能力,但专家对失控风险何时到来的判断“分歧巨大”。黑箱问题也从单纯的技术难题,演变为涉及社会、经济与治理的系统性挑战——这正是米埃勒主张“放慢速度但不是停止发展”的原因。

中美共同底线:从“沟通渠道”到治理超级智能

“没有中国、没有中美合作,就难以有效治理超级智能的竞赛。”米埃勒在专访中直言。他给出的路径相当具体:中美应围绕AI失控风险和恶意滥用风险划定共同底线,包括防范犯罪分子利用强大的AI系统发动攻击,并从最基础的安全事件监测和响应机制入手,逐步将双边合作拓展为多边合作。他强调,中国的AI模型在全球广受欢迎,美国芯片在中国也具有重要地位,双方的高相互依存为寻求共同规则提供了现实基础。

现实进展为这一主张提供了注脚。9月24日,中美元首在白宫会谈,确认相互支持办好2026年亚太经合组织(APEC)领导人非正式会议和二十国集团(G20)峰会;9月下旬,中美达成8点成果共识,其中包括建立中美人工智能对话,以及建立人工智能事件的沟通渠道——这与米埃勒所称“安全事件的监测、沟通和响应”几乎一一对应。更早的8月24日,中美在北京举行“1.5轨”对话,曾讨论通过合作建立防范AI生成网络攻击的护栏。年底的两场峰会——11月18日至19日的APEC深圳峰会与12月14日至15日的美国佛罗里达州迈阿密G20峰会——被米埃勒视为推动合作的契机。

米埃勒以二战后欧洲一体化作类比:法国与德国从煤炭和钢铁这两类具体资源入手开展功能性合作,逐步建立信任。中美在AI安全事件预防、监测和响应上的合作,也可遵循同一思路——当信任不足时,最好的办法不是空谈信任,而是寻找一个窄而具体的机制,通过合作证明能够达成共识。对于中国的治理实践,他给予了明确肯定:《人工智能安全治理框架3.0》明确指出了失控风险与恶意行为者风险,“中国已经展现出通过强制性监管措施进行治理的能力”,许多国家对中国在AI治理方面的经验还缺乏了解,国际社会可以从中汲取经验。

全球南方的新焦虑与“以人为本”的答卷

AI发展的不均衡,正在全球南方催生新的焦虑。米埃勒转述其在另一场讨论中听到的声音:一些非洲国家还在努力建设电力、网络连接等基础设施,却已被迫面对AI竞赛的压力,“这迫使他们试图跨越某些发展阶段,直接追赶人工智能浪潮,而不是循序渐进地补齐基础能力。这是很危险的信号。”他警告,过去20年全球数字经济的发展伴随财富和权力的不断集中,许多国家担心AI会带来新的技术依附关系。

这一判断与中国学者观点及国际动态相互印证。清华大学薛澜曾撰文指出,全球南方国家面临双重挑战的根源在于教育与研究基础薄弱、信息基础设施落后,应高度关注其科技能力建设并重视“授人以渔”;联合国大会期间,多国领导人也要求在塑造AI规则的进程中获得更大话语权,警告若AI研发与监管长期集中于富裕国家,将进一步扩大全球不平等。米埃勒据此主张:要放慢竞赛速度,为解决技术红利分配、发展差距和治理机制等问题争取时间——而要真正放慢速度,中美作为AI超级大国需要先达成“哪些事情不应该做”的共识。

展望未来五到十年,米埃勒勾勒了一幅警惕与希望并存的前景:可能出现一个个不均匀分布的超级智能“孤岛”,且必须被置于严格的“围封”之下以服务于所有人的利益;技术发展一旦跨过临界点,可能形成难以逆转的“相变”;“增强还是替代”的冲击将从会计师、分析师、软件工程师等知识型岗位扩展至蓝领职业;自主武器系统已现雏形,“我们正处于极其危险、稍有不慎就会滑落深渊的斜坡上”。而在所有应对之中,他把教育放在了特殊位置:考试应区分是否允许使用AI、评价应关注学生能否解释验证过程,“教育必须坚持以人为本”。人类正获得近乎“神一般”的力量,却没有同步获得与之相匹配的智慧——如何确保人类仍能掌控技术,是这场雄安对话留下的最大悬念,也是唯一确定的议程。


责编: 爱集微
来源:爱集微 #米埃勒# #AI安全治理# #智能体蜂群# #中美AI合作# #全球治理论坛#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...