观点 2020-09-16 11:09

对算法的愤怒:高估军事人工智能的风险

何鹏 摘自 英国查塔姆研究所网站

2020年8月27日,英国查塔姆研究所网站发布评论文章,题为《Rage Against the Algorithm: the Risks of Overestimating Military Artificial Intelligence》,作者是国际安全研究助理亚斯敏·阿菲娜。文章指出,军事技术将不可避免地越来越依赖于人工智能(AI),开发这些技术以用于战场的努力也在迅速进行,但是开发人员和用户必须确保这些技术的可靠性。

除了在导航辅助等当前应用领域之外,人工智能还具有取代人类执行军事任务的潜力。例如在美国,国防高级研究计划局(DARPA)最近举行了其“阿尔法狗斗”试验的最后一轮,在该试验中,控制模拟F-16战斗机的算法与空军飞行员在虚拟空战中对抗。该算法以5-0获胜。那么这对军事行动的未来意味着什么呢?

该机构的副局长表示,这些工具现在“已经准备好供武器系统设计人员使用。”乍一看,这场空战表明,启用AI的空战将提供巨大的军事优势,包括没有人类固有的生存本能,能够以超出人体限制的高加速度压力下持续进行操作以及达到高瞄准精度。

但是,这些试验的结果并不意味着该技术已准备好在战场上部署。实际上,在部署和使用之前,必须考虑一系列因素,即适应现实战斗情况、身体限制和法律合规的能力。

测试环境与实际应用

首先,与所有技术一样,算法在其测试环境中的性能势必与实际应用有所不同(例如集束弹药)。例如,谷歌健康开发了一种算法来帮助糖尿病视网膜病变筛查。尽管该算法在实验室中的准确率超过90%,但在实验室外的效果却不佳,因为该算法在训练中用于高质量扫描,而不使用超过五分之一被认为低于质量阈值的真实扫描。结果,与传统筛查相比该过程更加耗时和昂贵。

同样,类似于“阿尔法狗斗”试验的虚拟环境也无法反映现实战斗中的风险、危害和不可预测性。例如,在“狗斗”中,该算法具有充分的态势感知能力,并经过反复训练以适应其操作环境的规则、参数和限制。但是,在现实生活中的动态战场上,变量很多且不可避免地会波动:能见度可能很差,极端天气会影响飞机的运动和飞机的性能,而对手的行为和举动将无法预测。

在不断变化的情况下,每种可能性都需要根据指挥官的意图进行编程,否则将严重影响算法的性能,包括目标识别和射击精度。

硬件限制

另一个考虑因素涉及AI系统依赖的硬件限制。算法依赖于硬件来操作诸如传感器和计算机系统之类的设备,每种设备都受到物理限制的约束。攻击者可以将这些作为目标,例如,通过电子干扰来破坏算法所基于的计算机系统的功能。

硬件也可能会不由自主地受到影响。例如,由算法控制的“无人驾驶”飞机确实可以承受更高的加速度,从而承受比人体所能承受的更大的重力。但是,飞机本身也受到物理限制,如加速度限制,超过该限制,飞机各部件(如传感器)可能会受到严重损坏,进而影响算法的性能和最终任务的成败。在部署这些机器时,尤其是当它们非常依赖传感器时,将这些物理限制因素考虑在内是至关重要的。

合法合规

另一个主要的考虑因素,也许是最大的考虑因素,是依赖于机器来遵守法律的能力。DARPA的“狗斗”只专注于算法成功控制飞机并与对手对抗的能力,但是,没有任何迹象表明它能够确保不超出法律范围。

在武装冲突中,这种系统在战场上的部署和使用不能免受国际人道主义法(IHL)限制,尤其是IHL在攻击中的区分、相称和预防等习惯原则。它需要能够区分平民、战斗人员和军事目标,计算其攻击是否与设定的军事目标相称,并对附带损害进行实时评估,采取必要的预防措施以确保攻击保持在法律范围内——包括在必要时中止攻击的能力。这也要求机器能够保持在特定操作的交战规则内。

因此,将国际人道主义法的考虑纳入算法的构思以及整个开发和测试阶段至关重要,以确保机器足够可靠,符合法律要求。

开发人员必须解决“黑箱”问题。因为该算法的计算非常复杂,人类无法理解它是如何得出结果的。不仅需要解决算法的不透明性以提高算法的长期性能,而且在发生事故和涉嫌违反适用法律的情况下,这也是问责和调查的关键。

可靠性、测试和实验

算法正变得越来越强大,毫无疑问,它们将为军方带来巨大的优势。但是,必须避免以牺牲机器在技术方面的可靠性以及法律合规性为代价过度宣传。

测试和实验阶段是关键,开发人员可以在这些阶段微调算法。因此,开发人员必须通过纳入有关性能和准确性、硬件限制以及法律合规性的考虑,来确保机器的可靠性。这有助于防止因高估AI在军事行动的能力而导致的事件。

(欢迎转载,转载请标明引自“航空工业信息网”)

阅读 收藏

相关专题: