编者按：本文由微信公众号“新智元”（ID：AI_era）编译，来源：deepmind.com 等，作者：DeepMind、Brian Mingus，编译：熊笑；36氪经授权发布。

DeepMind 的最新论文称过去“首次”将认知心理学方法引入了对深度神经网络黑箱的理解研究中，并用认知心理学的方法发现了深度神经网络存有和人类儿童在学习词汇时也存在的“形状偏好”的行为。此文一出，就有学者指出，DeepMind 是在将自己的研究包装为全新的研究。

从识别和推理图像中的物体，到以超人的水准玩 Atari 和围棋游戏，深度神经网络已经学会完成很多了不起的任务。而随着这些任务和网络结构变得越来越复杂，神经网络学习得到的解决方案也变得越来越难以理解。

这就是著名的“黑箱”问题。这一问题已随着神经网络在现实世界中越来越多的应用而日益凸显。

在 DeepMind，我们正致力于扩展理解和解释深度神经网络的工具箱。在我们已被 ICML 接受的最新论文（Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study，点击查看）里，我们为这一问题提出了新的方法：采用认知心理学中的方法来理解深度神经网络。 

认知心理学通过测量行为来推断认知的机理，有大量文献描述这些机理，更不乏相关的实验论证。随着我们的神经网络在一些特定任务上接近人类水平，认知心理学中的一些方法和黑箱问题的关系越来越紧密。

为了展示这一点，我们的研究报告包括了一个案例研究：我们设计了一个实验，来阐明人类认知，从而帮助我们理解深度神经网络是如何完成一个图像分类任务的。

我们的研究显示，认知心理学家观察到的行为，同样出现在深度神经网络中。而且，对于网络是如何完成图像分类任务的，研究结果揭示出有用且令人惊讶的洞见。更笼统地说，案例研究的成功体现出了使用认知心理学理解深度学习系统的潜力。

用小样本词汇学习模型测量形状偏好。

在我们的案例研究中，我们思考了儿童是如何识别和标识物体的——认知发展心理学对此研究较为丰富。儿童从一个示例中猜出一个单词的意义——所以称为小样本词汇学习——进行得是如此简单，让人禁不住认为小样本学习是一个简单的过程。然而，哲学家Willard Van Orman Quine 提出的经典思想实验却展现出这是个多么复杂的问题。 

一位田野语言学家去拜访一个语言完全不同的文化。该语言学家正在努力从一位热心的本地人那里学一些词语。这时一只兔子迅速地跑过。本地人说：“gavagai”，语言学家这时需要推理这个新词语的意义。语言学家面对的可能性多种多样，“gavagai”指的可能是兔子、动物、白色的东西、这只具体的兔子或是兔子的某个部位。有无数种可能的推理，人类如何能选出对的那一个？

“Gavagai”所指为何？

50年以后，对于能够进行小样本学习的深度神经网络，我们有了同样的问题。比如 Matching Network——DeepMind 开发出的一种神经网络。这一模型采用了注意力和记忆方面的最新进展，凭借一个孤立样本就取得了 ImageNet 图像分类任务中的目前最佳性能。

为了理解这是如何做到的，我们考察了发展心理学的研究成果。这些研究发现，儿童会通过采用归纳偏好来消除许多不正确的推理，找到正确的推理。这种偏好包括：

• 整体偏好：通过整体偏好，儿童假设一个词语指向的是一个完整物体，而非其组件（这排除了“gavagai”是兔子某个部分的想法）；

• 分类偏好：通过分类偏好，儿童假设一个词语指向的是一件事物的基本类别（这减小了“gavagai”是所有动物的可能性）

• 形状偏好，通过形状偏好，儿童假设一个名词的意义是基于一件事物的形状而颜色或材质（这减小了“gavagai”是白色物体的可能性）

我们选择衡量神经网络的形状偏好是因为针对人类的这一偏好有相当多的研究。

认知心理学中外部刺激的部分样例，用于测量我们深度网络的形状偏好。由印第安纳大学认知发展实验室的 Linda Smith 提供。

我们采用的经典的形状偏好实验过程操作如下：我们向深度神经网络展示了三个物体的图形：一个测试物体，一个与测试物体颜色相同但形状不同的物体，一个与测试物体形状相同但颜色不同的物体。之后我们通过记录测试物体和和形状相同物体而非颜色相同物体被做出同样标注的次数占比来测量形状偏好。

我们使用的图形是印第安纳大学认知发展实验室用于人类实验时使用的图形。

Matching network 认知心理学实验的示意图。Matching network 将测试用物体（左图）与形状相同物体A(上图，中)与颜色相同物体B（上图，右）进行匹配。输出结果（右下）取决于 Matching network 形状偏好的强度。

我们用我们的深度网络（Matching Network 及生成基准模型）来尝试这一实验，并且发现我们的网络如同人类一样对物体的形状有更强的偏好（相比较对物体的颜色或质地而言）。换言之，它们也具备形状偏好。

这说明 Matching Network 及生成分类模型采用了基于形状的推导偏好来剔除错误的假设，向我们清晰地展示了它们是如何掌握小样本词汇学习的。

对于形状偏好的观察结果并不是唯一有趣的发现：我们还观察到，形状偏好在网络训练之初是逐步显现的。这不禁令人联想到人类形状偏好的发展过程：心理学家们发现年龄偏大的儿童的形状偏好高于年龄偏小的儿童，而成人展现出的形状偏好最高。

我们还发现基于初始化和训练时随机采用的样本的不同，网络展现出的偏好水平也有所差异。因此我们认识到，在深度学习系统的实验中，必须通过大量的训练模型样本来得出可靠的实验结果，就如同心理学家不能够仅通过一个实验对象得出结论一样。

此外，我们注意到，即便各自的形状偏好非常不同，不同的网络也展现出同等的小样本学习的能力，显示出不同的网络在解决复杂问题时能够各自找出同等有效的方法。

这一神经网络结构中此前未被辨识的偏好的发现证明了使用人工认知心理学来解读神经网络解决问题过程的可能性。其他一些领域中，情景记忆的理论可被用来理解情景记忆结构，而语义认知的技术可被用于理解最近出现的概念形成模型。这些及其他一些领域内的心理学相关研究成果非常丰富，成为我们解决“黑箱”问题及深入理解神经网络行为的新工具。