人工智能网络比之前想象的更容易受到恶意攻击
人工智能工具为从自动驾驶汽车到医学图像解读等各种应用带来了希望。然而，一项新的研究发现，这些人工智能工具比以前认为的更容易受到有针对性的攻击，这些攻击实际上迫使人工智能系统做出错误的决定。
问题在于所谓的“对抗性攻击”，即有人操纵输入人工智能系统的数据以使其混乱。例如，有人可能知道将特定类型的贴纸贴在停车标志的特定位置可以有效地使停车标志对人工智能系统不可见。或者，黑客可以在 X 光机上安装代码，改变图像数据，从而导致人工智能系统做出不准确的诊断。
“在大多数情况下，你可以对停车标志进行各种改变，而经过训练来识别停车标志的人工智能仍然会知道这是一个停车标志，”一篇关于停车标志的论文的合著者吴天福说。新工作和北卡罗来纳州立大学电气与计算机工程副教授。“但是，如果人工智能存在漏洞，并且攻击者知道该漏洞，则攻击者可能会利用该漏洞并引发事故。”
吴和他的合作者的新研究重点是确定这些类型的对抗性漏洞在人工智能深度神经网络中的常见程度。他们发现这些漏洞比之前想象的要普遍得多。
“更重要的是，我们发现攻击者可以利用这些漏洞迫使人工智能将数据解释为他们想要的任何内容，”吴说。“以停车标志为例，你可以让人工智能系统认为停车标志是邮箱、限速标志、绿灯等等，只需使用稍微不同的贴纸——或者任何漏洞。
“这非常重要，因为如果人工智能系统不能抵御此类攻击，你就不会希望将该系统投入实际使用，特别是对于可能影响人类生命的应用程序。”
为了测试深度神经网络对这些对抗性攻击的脆弱性，研究人员开发了一款名为 QuadAttacK 的软件。该软件可用于测试任何深度神经网络的对抗性漏洞。
“基本上，如果你有一个训练有素的人工智能系统，并使用干净的数据对其进行测试，那么人工智能系统将按照预测运行。QuadAttacK 会观察这些操作并了解人工智能如何做出与数据相关的决策。这使得 QuadAttacK 能够确定如何“数据可以被操纵来欺骗人工智能。然后，QuadAttacK 开始将操纵数据发送到人工智能系统，以查看人工智能如何响应。如果 QuadAttacK 发现了漏洞，它可以快速让人工智能看到 QuadAttacK 希望它看到的任何内容。”
在概念验证测试中，研究人员使用 QuadAttacK 测试了四个深度神经网络：两个卷积神经网络(ResNet-50 和 DenseNet-121)和两个视觉转换器(ViT-B 和 DEiT-S)。选择这四个网络是因为它们在世界各地的人工智能系统中广泛使用。
“我们惊讶地发现所有这四个网络都非常容易受到对抗性攻击，”吴说。“我们特别惊讶的是，我们可以在多大程度上微调攻击，使网络看到我们希望他们看到的内容。”
研究团队已将 QuadAttacK 公开，以便研究社区可以自己使用它来测试神经网络的漏洞。该程序可以在这里找到： https: //thomaspaniagua.github.io/quadattack_web/。
“现在我们可以更好地识别这些漏洞，下一步就是找到尽量减少这些漏洞的方法，”吴说。“我们已经有了一些潜在的解决方案，但这项工作的结果仍然即将到来。”
论文“QuadAttacK：学习有序 Top-K 对抗攻击的二次编程方法”将于 12 月 16 日在新奥尔良举行的第三十七届神经信息处理系统会议 ( NeurIPS 2023 ) 上发表。这篇论文的第一作者是托马斯·帕尼亚瓜 (Thomas Paniagua)，他是一名博士。北卡罗来纳州立大学的学生。该论文由博士生 Ryan Grainger 共同撰写。北卡罗来纳州立大学的学生。