担忧机器由于太聪明所带来的威胁，使得人们容易忽略目前机器太愚蠢所带来的现实威胁。

最近，人们对于人工智能对人类产生的威胁表达了广泛的关注。例如，斯蒂芬·霍金(Stephen Hawking)在接受凯兰-琼斯(Cellan-Jones)的采访时说到：“人工智能的充分发展可能意味着人类的灭亡^[1]。”伊隆·马斯克(Elon Musk)和史蒂夫·沃兹尼亚克(Steve Wozniak)等人也表达了类似的担忧。

这种担忧已经存在了很长时间。斯塔尼斯拉夫·乌拉姆(Stanislaw Ulam)和冯·诺伊曼(John von Neumann)在一次谈话中^[8]，首次使用了“奇点(the singularity)”这一术语，即人工智能超过人类智能的临界点。基于摩尔定律，雷·科兹维尔(Ray Kurzweil)^[5]预测奇点可能会在2045年前后出现¹。那时，机器的速度和存储能力将会与人类媲美。古德(I.J. Good)推断，这种超级智能机器将会以一种加速的“智能爆炸”方式来制造比自身更加智能的机器 ^[4]。人们担心，这些超级智能机器将会威胁人类的生存。例如，他们可能会将人类作为宠物，或者将人类全部杀死^[10]，或者人类将会成为进化过程中的殉葬品（其他细节，请参考土桥(Dubhashi)和拉平(Lappin)的论述）。

我认为，奇点这个概念有考虑不周的地方。它是建立在对智能过于简化和错误理解的基础之上的。实际上，摩尔定律不一定会导致奇点的到来。人工智能的进步不仅仅依赖于机器的速度与容量，还依赖于开发与之配伍的新算法和新理念。更为关键的是，奇点是基于智能的线性模型推断而来，与智商(IQ)类似，在这个线性模型中，每个物种都有自己的位置，人工智能也按照这个线性模型发展。但智能并非如此。正如亚伦·斯洛曼(Aaron Sloman)之前所成功论证的，智能模型必须通过多维空间刻画，其中包含了许多不同种类的智能，且人工智能将向很多不同的方向发展^[6]。

人工智能系统在这个多维空间中所处的位置不同于任何物种。具体来说，人工智能系统的专长通常在一个很窄的领域非常突出，而在其他领域则一片空白。下面，以最近几十年内最成功的人工智能系统为例进行论述。

深蓝(Deep Blue)是由IBM公司开发的一台国际象棋计算机，它曾经在1996年打败了前世界冠军加里·卡斯帕罗夫(Garry Kasparov)。尽管深蓝下国际象棋比任何人都好，但它除了会下棋之外却一无是处——甚至不能在物理棋盘上挪动棋子。

格子赛车(Tartan Racing)是由卡内基梅隆大学和通用汽车公司联合开发的一款自动驾驶汽车，曾经获得过2007年美国国防部高级研究计划署(DARPA)城市挑战赛的冠军。这是自动驾驶汽车首次能像人一样安全驾驶，因此激发了当前人们对这项技术的商业关注。然而，除了开车外，格子赛车既不能下棋，也不能做其他任何事情。

沃森(Watson)是一款由IBM公司开发的自动问答系统，于2011年在知识问答节目《危险边缘》中击败了世界冠军。但是，它既不能下象棋，也不能开车。IBM公司正在为广泛的其他领域开发不同版本的沃森系统，包括医疗健康、制药业、出版业、生物技术和玩具的会话系统等。每种应用也都针对一个非常有限的领域。

阿尔法狗(AlphaGo)是由谷歌公司的DeepMind团队开发的一款围棋软件。2015年10月，它以4:1的成绩击败了世界冠军李世石。阿尔法狗使用深度学习技术训练下围棋。和深蓝类似，阿尔法狗也需要人在物理棋盘上落子。尽管DeepMind团队将相似的技术应用到了其他棋盘类游戏，但阿尔法狗除了会下围棋外，不会做其他任何事情。

这种情况在可预见的未来有希望改变吗？目前，人们对通用人工智能重新燃起了兴趣。通用人工智能试图制造出一部机器，它可以成功执行人类所能完成的任何智能任务。早在1956年于达特茅斯举办的首届人工智能大会上，约翰·麦卡锡(John McCarthy)就提出了通用人工智能这一概念。在60多年后的今天，是否有理由相信通用人工智能将发展得更快呢？常识推理是其中公认的一项关键的使能技术(enabling technologies)。最近发表在《美国计算机学会通讯》上的一篇文章^[2]表明，尽管推理技术在一些领域内（包括时序的、几何学的和多智能体等等）已经取得了很大进展，但是仍然存在许多棘手的问题有待解决。需要注意的是，尽管成功的智能系统，如沃森与阿尔法狗，已经被应用到新的领域，但每一种应用仍然局限在很窄的范围里。人们有可能采用一种“万能转换器”(Big Switch)的方法，针对每一个任务都可以转到适配范围的系统。但是这种方式一般被认为并不合适，因为它做不到像人一样能够习惯性地综合多种认知过程。

我不是试图说明通用人工智能在原则上是不可能实现的。相反，我相信通过科学的理解，人类可以认知一切。有了这样的理解，终有一天人类能够实现人工模仿通用智能。但是我并没有特别地期待。我本人经历过太多次人工智能的炒作周期。每次人们都期盼出现一个最新成果，解决前一轮周期没有攻克的难题。我认为现在不是担心智能机器对人类产生威胁的时间，我们还有一个更为紧迫的问题需要关注。

这个问题是，很多人往往把非常专用的人工能智能系统看得太过智能。能够在围棋方面打败所有人的机器必定是特别聪明的，但如果由此类推：既然机器能击败世界级的围棋选手，那么它在其他方面也一定很聪明。一定是这样吗？事实并非如此。这种错误观念会导致错误的期盼，即人工智能系统在其擅长的领域以外，照样无所不能。这会引发一些问题。例如，一个医疗诊断系统，在面对其无力诊断的疾病时，可能会提供错误的治疗方案；一辆自动驾驶汽车，当遇到突发状况时，可能会引发交通事故。这种智能型傻瓜机器所犯的错误确实威胁到了个别人，但没有威胁整个人类。

为了应对这个问题，人工智能系统需要一个能够监管其活动范围和局限的内部控制模型。一旦系统发现自己越界，就及时向人类用户报警，指出它们需要人类的帮助或者应该停止使用。我们必须让人工智能系统的设计者承担这样的责任，他们应当保证所创造的产品要向用户报告其能力的限度，尤其是对指派的工作无法胜任时，要向用户告警。人工智能系统必须能够以用户可以理解并赞同的方式向用户解释自身的推理机制。由于具有无限制的行为，人工智能系统天生就很难被验证。我们需要开发软件工程技术来解决这些问题。随着人工智能系统正在持续自我升级改进，我们需要保证这些解释、警告和验证能力能够与时俱进，以适应人工智能系统能力的不断进化。

在稍早一篇《美国计算机学会通讯》观点栏目的文章^[3]中，迪特里奇(Dietterich)和霍维茨(Horvitz)对霍金和其他学者的关注点进行了回应。虽然迪特里奇和霍维茨认为这些关注太过头了，他们还是对人工智能技术带来的威胁进行了归类。这样做貌似很矛盾，但是注意到他们两人确定，各种威胁都是源于人工智能技术太愚蠢而不是太聪明，就会理解他们为何要这样做了。

当然，人工智能系统和其他系统一样都存在缺陷，或者对有些领域并不擅长。任何针对安全或保密等关键场合所开发的计算机系统，都对健康、隐私、金融或其他领域有潜在的威胁。这也说明人工智能为何如此关心程序的正确性，以及要采用最佳的软件工程实践技术的原因。人工智能系统的不同之处在于，一些人只是因为看到了它在一个特定领域内的成功，就对其擅长范围有着不切实际的期望。

当前对遥不可及的超人类智能威胁的关注，掩盖了来自次人类智能的实际威胁。

但是，这些傻瓜机器是否可能足以构成对人类的威胁？答案是：的确如此。例如，我们曾愚蠢到让傻瓜机器自主发射大规模杀伤性武器。1983年，罗纳德·里根(Ronald Reagan)和爱德华·特勒(Edward Teller)所提出的战略防御倡议（也称为星球大战计划）²差点酿成了这种悲剧。在该计划中，卫星传感器将监测苏联弹道导弹的发射，一旦发现可能的险情，在导弹进入轨道之前，超强X射线激光器将会从太空摧毁这些导弹。由于整个过程需要在短短几秒钟之内完成，没有人能够参与其中。

我和许多计算机科学家成功地反对了这项计划。因为极有可能出现由于误报而触发核战争的局面，而该计划的本意正是为了防止这样的局面发生。在过去，有很多导弹预警系统误报的先例，导致误报的原因有很多，比如月光或鹅群。幸运的是，人参与到这些系统的监管中，及时终止了根据误报的来袭情报而进行的毫无根据的报复行为。我们一组来自爱丁堡的科学家同英国国防部曾经参与过星球大战计划的科学家进行过交流，他们认同我们的分析。星球大战计划随后很快被取消了，由一个更明智的项目替代。这是一个很典型的非计算机科学家高估傻瓜机器能力的例子。

我们只能寄希望于这些武器系统的开发者，如英国国防部的科学家，能够从这次失败的经历中吸取体制上的教训。我们还需要公开这些教训，确保人们广泛了解其中的原由。类似的问题也出现在了其他领域。例如，2010年股市闪电般的暴跌也说明了社会在面临金融系统的崩溃时是多么不堪一击，而金融系统的运行正是依赖于安全、强大和具有超级运算速度的自主智能系统。

人工智能系统另一个潜在威胁是它们能够把大部分人类工作自动化^{[7, 9]}。如果我的分析是正确的，那么，在可预见的未来，这种自动化将会发展成为一种联合系统，其中每个部分只自动化一个细分的特定任务。为了这些系统协同工作，需要人参与的部分有统筹协同、在系统无能为力时及时发现，以及交互地处理这些异常情况。

这样，人类工作人员的生产效率因此会得到极大提升，同时，由这种多智能体方式提供的服务的开销也会极大降低，很可能有更多的服务被催生出来。到目前为止，这种方式是否能够让所有人提高工作满意度和生活收入，还是一个有争议的问题。我们能够创造未来，能够确保未来随着人工智能系统能力和范围的增加而持续发展。我没有低估完成这个目标的难度。更多的挑战在政治和社会方面，而不是技术方面。因此，实现这一目标需要整个社会的努力。

随着人工智能的进步，我们将看到更多的智能应用。智能应用成功覆盖的领域会越来越广，但始终会存在未涉及的领域。以后的智能机器，智能的方面会逐渐变多，傻瓜的方面逐渐变少。我相信，即使我们对人类认知有很深的理解，这种情况仍然不会改变。玛吉·博登(Maggie Boden)用飞行作了一个形象的类比。现在，人们确实了解鸟类如何飞翔。原则上，人们能够制造更为精准的鸟类仿生模型，但是这样做会带来极高的开销，所以人们已经通过其他方法实现了使人类满意的飞行，如飞机、直升机和滑翔机等等。类似地，人们会开发一系列多样化的人工智能机器，其中每一种机器都具有完成特定任务所需要的智能水平，而不是一种通用的、具有超级智能的、取代人类的新型千篇一律的机器。■

* 本文译自communication of the ACM, “Smart Machines are Not a Threat to Humanity”, 2017, 60(2):40~42一文。

¹ 参见https://en.wikipedia.org/wiki/Technological_singularity。

² 参见https://en.wikipedia.org/wiki/Strategic_Defense_Initiative。

参考文献

[1] Cellan-Jones R. Stephen Hawking warns artificial intelligence could end mankind[OL].(2014-12-02). http://www.bbc.com/news/technology-30290540.

[2] Davis E, Marcus G. Commonsense reasoning and commonsense knowledge in artificial intelligence[J]. Communications of the ACM, 2015, 58(9):92-103.

[3] Dietterich T G, Horvitz E J. Rise of concerns about AI: reflections and directions[J]. Communications of the ACM, 2015, 58(10):38-40.

[4] Good I J. Speculations Concerning the First Ultraintelligent Machine[J]. Advances in Computers, 1966, 6:31-88.

[5] Kurzweil R. The Singularity is Near[M].Penguin Group, 2005:135-136.

[6] Sloman A. Exploring Design Space and Niche Space[C]//Proceedings of the 5th Scandinavian Conference on AI. Amsterdam: IOS Press, 1995.

[7] Susskind R, Susskind D. The Future of the Professions: How Technology will Transform the Work of Human Experts[M]. OUP Oxford, 2015.

[8] Ulam S. Tribute to John von Neumann[J]. Bulletin of the American Mathematical Society, 1958, 64(3, part 2): 1-49.

[9] Vardi M Y. The future of work: but what will humans do?[J].Communications of the ACM, 2015,58(12).

[10] Warwick K. March of the Machines[M]. University of Illinois Press, 2004.