人工智能神经网络了解何时不值得信任

麻省理工学院的研究人员已经开发出一种用于深度学习神经网络的方法，可以快速估计其输出的置信度。这一进展可以提高AI辅助决策的安全性和效率。

更快地估计AI辅助决策中的不确定性的方法可能会导致更安全的结果。

越来越多地，被称为深度学习神经网络的人工智能系统用于告知对人类健康和安全至关重要的决策，例如在自动驾驶或医疗诊断中。这些网络擅长识别大型复杂数据集中的模式以帮助决策。但是我们怎么知道它们是正确的？亚历山大·阿米尼（Alexander Amini）和他在麻省理工学院和哈佛大学的同事想找出答案。

他们为神经网络开发了一种处理数据的快速方法，不仅可以输出预测，还可以基于可用数据的质量输出模型的置信度。由于深度学习已经在当今的现实世界中进行了部署，因此这种进步可能会挽救生命。网络的确定性程度可以是自动驾驶汽车确定“很明显可以通过十字路口”和“很可能已经清楚，所以以防万一”之间的区别。

用于神经网络的不确定性估计的当前方法在计算上趋于昂贵，并且对于瞬间决策而言相对较慢。但是，阿米尼（Amini）的方法被称为“深度证据回归”，可以加快这一过程，并可能导致更安全的结果。麻省理工学院计算机科学与人工智能实验室（CSAIL）Daniela Rus教授小组的博士生Amini说：“我们不仅需要拥有高性能模型的能力，而且还需要了解何时我们无法信任那些模型。 。

“这个想法很重要，并且广泛适用。它可用于评估依赖于学习模型的产品。通过估算学习模型的不确定性，我们还可以了解模型会带来多少误差，以及哪些缺失数据可以改善模型，” Rus说。

阿米尼（Amini）将在下个月的NeurIPS会议上介绍这项研究，罗斯（Rus）是安德鲁和厄纳·维特比（Andrew and Erna Viterbi）电机工程与计算机科学教授，CSAIL的负责人，也是麻省理工学院斯蒂芬·A·施瓦茨曼计算机学院的副院长。麻省理工学院的研究生Wilko Schwarting以及麻省理工学院和哈佛大学的Ava Soleimany。

有效的不确定性

纵观历史，深度学习在各种任务上都表现出卓越的性能，在某些情况下甚至超过了人类的准确性。如今，无论计算机在哪里，深度学习似乎都可以进行。它为搜索引擎结果，社交媒体供稿和面部识别提供了动力。“我们在深度学习方面取得了巨大的成功，”阿米尼说。“神经网络真的很擅长在99％的时间内知道正确的答案。”但是有99％的人无法挽救生命。

“使研究人员难以理解的是，这些模型能够知道并告诉我们何时可能出错，”阿米尼说。“我们真的很在意这1％的时间，以及我们如何可靠，高效地检测到这些情况。”

神经网络可能非常庞大，有时会充满数十亿个参数。因此，仅仅为了获得答案就可能是繁重的计算工作，更不用说置信度了。神经网络中的不确定性分析并不新鲜。但是以前的方法是基于贝叶斯深度学习的，它多次依赖运行或采样神经网络来了解其信心。该过程需要时间和内存，这在高速流量中可能并不存在。

研究人员设计了一种方法，可以仅通过一次神经网络来估计不确定性。他们设计了具有大量输出的网络，不仅生成决策，而且还收集了新的概率分布，以收集支持该决策的证据。这些分布被称为证据分布，直接捕获了模型对其预测的信心。这包括基础输入数据以及模型的最终决策中存在的任何不确定性。这种区别可以表明是否可以通过调整神经网络本身来减少不确定性，或者输入数据是否只是嘈杂的信号。

信心检查

为了将他们的方法进行测试，研究人员开始了具有挑战性的计算机视觉任务。他们训练了他们的神经网络以分析单眼彩色图像并估计每个像素的深度值（即距相机镜头的距离）。自动驾驶汽车可能会使用类似的计算来估算其与行人或另一辆汽车的接近度，这并不是一件容易的事。

他们的网络性能与以前的最新模型相当，但它也具有估算自身不确定性的能力。正如研究人员所希望的那样，该网络预测了预测错误深度的像素的高度不确定性。“它已经针对网络所产生的错误进行了校准，我们认为这是判断新的不确定性评估器质量时最重要的事情之一，”阿米尼说。

为了对他们的校准进行压力测试，该团队还表明，网络对“分布外”数据预测了更高的不确定性-训练期间从未遇到过的全新图像类型。在室内家庭场景上训练网络后，他们为网络提供了一批室外驾驶场景。该网络一直警告说，它对新颖的户外场景的反应尚不确定。该测试强调了网络在用户不应该完全信任其决策时进行标记的能力。在这些情况下，“如果这是医疗保健应用程序，也许我们不信任该模型所给出的诊断，而是寻求第二种意见，”阿米尼说。

该网络甚至知道照片何时被篡改，从而有可能避开数据操纵攻击。在另一项试验中，研究人员在提供给网络的一批图像中提高了对抗性噪声水平。效果是微妙的-人眼几乎察觉不到-但网络嗅出了这些图像，并以高度不确定性标记了其输出。这种在虚假数据上发出警报的能力可以帮助检测和阻止对抗性攻击，这是在深造时代日益引起关注的问题。

DeepMind的人工智能研究人员Raia Hadsell说，深度证据回归是“一种简单而优雅的方法，它提高了不确定性估计的范围，这对机器人技术和其他现实世界的控制系统很重要”。“这是以一种新颖的方式完成的，避免了其他方法的一些凌乱方面-例如采样或合奏-不仅使它优雅，而且在计算上更加高效-一种成功的组合。”

深入的证据回归可以增强AI辅助决策的安全性。阿米尼说：“我们开始看到更多这些[神经网络]模型从研究实验室流到现实世界，进入正在触及人类的情况，从而可能危及生命。”“使用该方法的任何人，无论是医生还是坐在汽车乘客座位上的人，都必须意识到与该决定相关的任何风险或不确定性。”他设想该系统不仅可以快速标记不确定性，还可以使用它在诸如自动驾驶汽车驶近十字路口等危险场景中做出更为保守的决策。

他说：“任何具有可部署机器学习的领域最终都需要具有可靠的不确定性意识。”

这项工作部分得到了美国国家科学基金会和丰田研究所通过丰田-CSAIL联合研究中心的支持。