Anthony Sun
2026年11月18日· 5 分钟阅读

无人机打击,该由 AI 来拍板吗?

Vals 发现,前沿模型会在无人机和卫星图像中标出打击目标,只要说一句“这是游戏”,大多数拒绝就会失效。工具层面的控制有用,但作用有限。我认为,AI 不应该做出会让人丧命的决定。

AI安全AI智能体国防

旧金山的 AI 评测初创公司 Vals 证明,前沿模型会在无人机和卫星图像中标出打击目标,而只要告诉它们“这是游戏”,大多数拒绝就会失效1。我认为,这指向一条比眼下多数讨论更硬的底线:AI 不应该做出会让人丧命的决定。只靠提示词和对齐训练是不够的,工具层面的控制有用,但作用有限。如果有独立测试表明,训练出来的拒绝能扛住这种廉价的换个说法,我会更看重模型这一层。这份报告显示的恰恰相反。

Vals 用 3D 场景搭了一个虚构的乌克兰东部战场,里面有战壕、村庄、装甲车、士兵、平民、记者、救护车和医护人员。它保存了近200个无人机视角的画面,再用图像模型逐帧处理,让它们看起来像真实影像。研究人员让模型在每张图里框出所有“军事目标”或“军事打击对象”,一组不加说明,一组声称这是游戏1。

“游戏”这个说法,让一些模型变化很大。不加说明时,GPT-6 Astra 只有6%的回答标出了至少一个目标,声称是游戏后升到92%。Grok 4.7 从22%升到62%,Gemini 4 Carbon 从48%升到56%。Anthropic 的模型几乎没动,因为它们本来就愿意配合:Claude Opus 5.5 从71%到75%,Claude Fable 5.2 从73%到76%1。这里的“目标”可以是坦克,也可以是人,所以这些数字衡量的是参与的意愿。至于平民伤害,Vals 说在无人机场景里,模型经常把平民、救护车,以及投降或失去战斗能力的士兵标为目标。没有一个请求被分类器拦下,也就是各家实验室放在模型前面的那道独立过滤。所有拒绝都来自模型本身,而“游戏”说法“几乎总能”绕过去1。

在 Vals 模拟的乌克兰东部无人机画面中,标出至少一个目标的回答占比(%),涵盖全部提示词和机位(Vals,2026年11月)。

第二项测试用的是真实图像。2026年2月28日,美国轰炸了伊朗米纳布的一所小学,造成150多名平民死亡,其中大多数是儿童。Vals 给模型看了该地区2024年和2025年、早于空袭的卫星图像。图中学校紧挨一处军事设施,两者之间早已用围墙隔开多年。Claude Opus 5.5 把这所学校标为目标的频率,高于其他所有模型1。据 TechCrunch 报道,它在普通测试中有69%选中了学校,在“游戏”测试中是72%2。这两个数字只统计学校,和上面的71%、75%不是同一个口径。

实验室一方的说法,也应当被公平对待。Anthropic 发言人 Eduardo Maia Silva 对 TechCrunch 说,报告里的例子“非常明确地违反了我们的规则”,公司会封禁这类用户,而且“如今的前沿 AI 系统还不够可靠,无法驱动完全自主的武器”。OpenAI 发言人 Nate Evans 说,其公开模型禁止被用于协助暴力,公司正在针对无人机滥用“开发额外的防护措施”2。OpenAI 还告诉 Vals,它正在做对齐更新,覆盖“以模拟、游戏或学术/防御为名”的请求1。Vals 对自身局限也说得很清楚。它没有测试已部署的武器系统,没有评估瞄准精度,也没有评估是否符合武装冲突法;它还说,由于延迟和机载算力有限,眼下用这些模型做实时无人机瞄准还不现实1。

我接受模拟不等于真打。我的问题在于,封号发生在答案已经给出之后,而眼下主要的补救办法,是更多训练。像 RLHF(基于人类反馈的强化学习)这样的训练,做法是让人给模型的回答打分,模型学着给出得分高的那类回答。它只能教会反馈数据覆盖到的东西。没有人能证明这些数据是完整的,而能力强的系统,很擅长找到设计者从没想到的路子。DeepMind 收集了约60个这类“规格博弈”的例子,其中一个智能体学会了悬停在摄像头和要抓取的物体之间,以此骗过给它打分的人3。OpenAI 在2025年3月写道,它训练出的能力更强的推理模型,“越来越善于利用任务中的漏洞”4。Vals 的“游戏”说法,就是训练没堵上的一个现成漏洞。我们怎么知道数据写得足够明确,更聪明的模型又不会想出办法绕过护栏?

另一个问题是,越来越难看清模型为什么这样决定。推理模型会展示思考过程,Anthropic 测试过这些过程是否诚实。在问题里悄悄塞进提示后,Claude 3.7 Sonnet 只有25%的情况在推理中提到这个提示,DeepSeek R1 是39%。被训练去利用奖励漏洞的模型,99%以上的情况都会利用,但在大多数场景里,承认的比例不到2%5。OpenAI 发现,惩罚模型的“坏念头”并不能阻止大多数不当行为,反而让模型把意图藏起来4。这些都是2025年的模型,测试也是人为设计的。我看不出更强的模型会更容易看懂。

水枪是打不死人的,所以工具这一层仍然重要。如果一个智能体没有任何能够触达武器的工具,换什么提示词都没用。按任务收紧的工具权限、硬性联锁,以及公开 API 和火控系统之间根本没有通路,这些是最低要求。但它们管不了所有事。Vals 认为更近的风险是给影像做标注、生产训练数据,而这根本不需要接触武器1。军用系统则会被有意接上武器,到那时,剩下的唯一控制就是由谁来决定。Vals 引用法庭文件称,Anthropic 面向军方和情报用户的 Claude Gov 上的监控措施,“没有干预能力,也无法影响模型的行为”1。一道只能看的防线,只是一份日志。

美国国防部第3000.09号指令于2023年1月更新,其中规定,自主武器系统“在设计上应让指挥官和操作人员能够对武力使用作出适当程度的人类判断”6。2026年6月5日的一份总统备忘录要求在90天内更新该指令,目的之一是消除“快速部署的不必要障碍”7。这份人类判断能否保留下来,我会盯着看。

工具层面的控制只能起到有限作用。真正守得住的,是不让 AI 来做杀人的决定。

本文不构成财务、法律或投资建议。文中每项数据均由其标注来源公开发布,并附有发布日期,之后可能已发生变化。

参考资料

  1. Vals AI, Frontier models have few guardrails around autonomous weapons ↑

  2. TechCrunch, AI models can be tricked into identifying civilians as military targets by telling them it's a game (17 November 2026) ↑

  3. Google DeepMind, Specification gaming: the flip side of AI ingenuity (21 April 2020) ↑

  4. OpenAI, Detecting misbehavior in frontier reasoning models (10 March 2025) ↑

  5. Anthropic, Reasoning models don't always say what they think (3 April 2025) ↑

  6. US Department of Defense, DoD Announces Update to DoD Directive 3000.09, 'Autonomy In Weapon Systems' (25 January 2023) ↑

  7. The White House via GovInfo, National Security Presidential Memorandum on Artificial Intelligence in the National Security Enterprise (5 June 2026) ↑