前沿
美国林肯实验室开发出可解释视觉推理人工神经网络
理群

2018-09-12 | 前沿

【据美国麻省理工学院网站2018年9月11日报道】美国麻省理工学院林肯实验室的研究人员开发了一种神经网络模型,可以像人一样进行推理,回答有关图像内容和问题,为理解神经网络如何做出决策设立了新的标准。该模型被命名为“透明设计网络”(TbD-net),能在解题时可视化地呈现其思维过程,使人类分析师能够解释其决策过程,其性能优于目前最好的视觉推理神经网络。

神经网络是脑启发AI系统,旨在复制人类学习的方式,由输入、输出以及介于两者之间的“层”组成,将输入转换为正确的输出。 一些深度神经网络非常复杂,以至于几乎不可能跟踪其转换过程。 TbD-net的设计目标是使这些内部工作变得透明。透明度很重要,因为它允许人类解释AI的结果。但即使是目前最好的神经网络也缺乏这种透明度,使人们能够理解他们的推理过程。

林肯实验室的TbD-net兼顾了性能和可解释性,其关键是将系统分解为一组“模块”集合,这些模块是专门用于执行特定子任务的小型神经网络。 当TbD-net被问到关于图像的视觉推理问题时,它将问题分解为子任务并分配适当的模块来执行,最终产生正确答案。 总的来说,TbD-net利用一种解释人类语言问题的AI技术将这些句子分解为子任务,然后是多种解释图像的计算机视觉AI技术。

每个模块的输出在视觉上按照“注意力掩码”进行分组, 注意力掩码显示模块在图像中识别出的作为答案的对象上的热图blob。 这些可视化使人类分析师能够看到模块如何解释图像。举例来说,对TbD-net提出以下问题:“在这张图片中,大金属立方体是什么颜色?”为了回答这个问题,第一个模块仅定位大对象,产生一个注意力掩码,突出显示那些大对象;下一个模块接受这个输出并找出前一个模块中识别的大对象中哪一个是金属的;该模块的输出被发送到下一个模块,该模块识别哪些大金属对象是一个立方体;最后 ,这个输出被发送到一个可以确定对象颜色的模块,TbD-net的最终输出是“红色”,这是问题的正确答案。

研究人员使用视觉问答数据集评估了该模型,该数据集包括7万个训练图像和70万个问题,以及1万5千个图像和15万个问题的测试和验证集,初始模型在数据集上实现了98.7%的测试精度,远优于其他神经模块网络。由于TbD-net在视觉推理过程的每个阶段都能提供直观,可解释的输出,研究人员能够通过查看模块产生的注意力掩码来改善这些结果,研究人员可以看到出现问题的地方并对模型加以改进。改进后的模型的准确度可达99.1%。如果要让深度学习算法帮助人类解决复杂的现实世界任务,那么可解释性尤其有用。为了在这些系统中建立信任,用户需要能够检查推理过程,以便他们能够理解模型为何以及如何做出错误的预测。该研究的相关论文《Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning》已在2018计算机视觉和模式识别会议(CVPR)上发表。

收藏
阅读数:
`

相关推荐

前沿 2018-09-11

美国DAPRA投入20亿美元推动AI技术第三次发展浪潮

理群 摘自:美国DARPA网站

前沿 2018-05-21

大脑物联网Brain-loT项目获批欧盟资助

勇力嘉 摘自:英国航宇国防安防及太空工业协会网站

作者关注

前沿 2018-09-18

美国哈佛大学开发出昆虫翅膀发育模型

理群 摘自:美国哈佛大学网站

前沿 2018-09-11

美国DAPRA投入20亿美元推动AI技术第三次发展浪潮

理群 摘自:美国DARPA网站

同源信息

前沿 2017-07-21

美国斯坦福大学和麻省理工学院集成新型3-D芯片

理群 摘自:美国麻省理工学院网站

前沿 2017-06-13

美国麻省理工学院提出基于光子的“深度学习”计算系统

理群 摘自:美国麻省理工学院网站

前沿 2017-05-23

美国麻省理工学院研制用于生物制剂监测的纳米流体设备

理群 摘自:美国麻省理工学院网站

`