漫谈人工智能与伦理道德 (IJCAI 2018)

　　近一两年，随着人工智能大潮的火热，关于自动驾驶车的新闻与研究层出不穷。以Google、Baidu、Tencent、BMW为首的科技巨头们集思广益，不断地在自动驾驶方面的研究中开疆扩土。说到自动驾驶，我们不妨来看下图这样一个选择题：

　　如果自动驾驶车失灵了，它应该往哪个方向走？- 是像左图那样撞上不遵守交通规则的女经理- 还是像右图那样撞上遵守交通规则的流浪汉？

　　无论哪种选择，都不可避免地会造成一方的伤害。事实上，无论是Google、Baidu等这些自动驾驶车的制造和研究者，还是自动驾驶车的潜在用户，均无法给出一个完美的答案。

　　这就引出了人工智能与伦理道德的问题。在AI技术大行其道的今天，我们不应该只专注于发展技术，更有必要就AI与伦理道德的问题进行一些探讨。没有伦理道德，AI在服务大众时也会捉襟见肘。

　　2017年，新华网的一篇报道指出，人工智能让人类尴尬，因为伦理道德法律框架设计滞后。不久后，科技巨头Google和美国军方关于将AI用于武器的时间也持续在网上发酵。近几日，由Elon Mask等知名科学家、企业家组成的2000多人也在国际人工智能联合会(IJCAI)上共同签署了地址将AI武器化的宣言。这些报道的源头都指向了一个我们不可忽视的领域：人工智能与伦理道德。

　　今年刚刚发表在国际人工智能联合会IJCAI上的一篇文章"Building Ethics into Artificial Intelligence"就探讨了这个问题。文章的第一作者是来自新加坡南洋理工大学(NTU)的Han Yu博士。我们主要以此论文为基础，简要介绍当前的研究现状。想对这个新兴领域有深入了解的读者，可以去这里阅读完整的论文。

　　伦理道德(Ethics)是人类活动需要遵循的最起码的一些准则。它包括以下三个维度的考量：结果导向道德性。当一个智能体通过权衡各种决策，最终选择出最具道德性的结果时，我们就认为它具有了伦理道德。行为方式道德性。当一个智能体在特定环境中能够遵循已有的规则和任务要求而作出行为时，我们就认为它具有了伦理道德。品质精神道德行。当一个智能体根据某种道德品质(例如勇敢、正义等)进行思考时，我们就认为它具有了伦理道德。

　　作者将AI与伦理道德的相关研究分为以下四个方面：AI面临的道德困境(Ethical Dilemmas)。个体AI决策框架(Individual Ethical Decision Frameworks)。群体AI决策框架(Collective Ethical Decision Frameworks)。人与AI交互中的伦理道德(Ethics in Human-AI Interactions)。

　　下面我们就每个方面，简要介绍相关的研究成果。

　　构建具有伦理道德的AI系统之前，我们必须先了解AI系统所面临的道德困境。为了达到此目的，美国的科学家们设计了一个叫做GenEth的道德困境分析器。他们发现，与智能系统有关的道德伦理问题通常会超出系统设计者的掌控。因此，GenEth的设计目标就是要将伦理学考虑进去。他们提出了一系列的有关AI和道德的考虑内容：行为特征，责任，行为，样例，以及行为准则等等。

　　另一方面，美国MIT设计了一个叫做道德机器(Moral Machine)的网站，使用众包的方式收集用户对于自动假设车道德困境的选择。当自动驾驶车突然失灵时，它应该如何选择？本文最开始的图便来自这个网站。很明显，当我们在未来大量使用无人车时，这个问题就变得很重要了。

　　通过收集300万用户的反馈，道德机器网站发现：如果能拯救更多的人，人们更倾向于让自动驾驶车自毁。如果通过杀死车上的乘客能避免伤害更多的人，人们通常乐于接受这个特征，但是却希望自己的车上没有这个特征。

　　然而，对于哪种才是最符合伦理道德的做法，还是莫衷一是。这方面的研究也刚刚兴起，我们期待更多更好的发现能够弥补现有研究的不足。

　　当谈到AI决策框架时，人们大体上同意，这个框架应该是统一的，而不是个性化的。

　　个体的AI决策框架在考虑伦理时，通常会采用基于规则的一些方法，以及基于实例的方法。通过一些游戏理论和机器学习的方法来设计相应的模型，采用一种以目标为中心的行为选择机制。最终的目标是为了取得与普遍认同的社会价值观的协调一致。

　　2008年的一项研究发现，人们做出的有关道德的决策不仅仅会考虑到自身的利益，还会考虑到道德的准则。这些规则通常与文化无关。科学家提出了MoralDM系统，使得AI系统能够利用两种机制将伦理道德考虑进去：一种是第一原则的推理，也就是让系统基于一些已有的原则进行决策；另一种则是类比式推理，也就是将现有的情境类比到先前的情景以做出决策。然而，由于收集到的示例不断增加，MoralDM系统的计算开销也越来越大。因此，2015年，另一些科学家扩展了MoralDM，对其进行了相应的优化。2016年，科学家又提出了一种可以让AI系统自行进行伦理决策的新系统，它以信任-渴望-意图模型为基础。2017年，基于游戏和机器学习的通用AI伦理系统被提出。此外，还有一些基于CP-net的方法也被提出。

　　强化学习是一种被经常使用的决策机制。因此，它也可以用来考虑如何做出具有道德伦理性的决策。将先前的知识集成到强化学习的反馈函数中，作者提出了ethics shaping方法。系统将它观察到的人类行为认为具有伦理道德性，然后用强化学习的机制指导自己不断进行类比地学习。

　　在多个AI系统中进行决策时，显然只考虑单个系统的伦理性是不够的。这就引出了群体AI决策框架中的伦理道德。这个方面的研究主要包括两个方面：评价自己与其他系统的伦理，和基于社会标准的不断进化。

　　2014和2015年，研究人员提出用社会标准来约束AI系统。2016年的研究中，研究人员让人类和AI进行协同式的伦理决策。另一种方式是对不同维度的伦理道德进行分别靠考量，最后将决策进行融合。2018年最新的研究成果中，一些研究人员提出了多个智能体的投票系统。

　　目前群体AI决策框架的研究相对个体框架而言，还处于起步阶段。预计未来会有更多的相关研究。

　　在人现AI交互中，AI可以影响人的行为。这种行为准则包含三个核心要求：人们的自主性不应该被违背，由科技带来的益处应该衡量风险，以及益处和风险应该被公平地分布到用户中。当然，如何度量收益和风险是一个开放的问题，尽管最近IEEE给出了一个关于伦理的设计指南(IEEE Ethically Aligned Design guide)。在最近的一些论文中，以人为中心的考量也被包括进了AI系统中。

　　劝说系统可能是一种AI可能影响人们行为的代表。意大利的科学家们做了一个大规模的研究来探索人与AI劝说系统的关系。这个问题中的道德困境是：将一个无辜的路人推到火车轨道以挽救其他的5个人。 作者通过撒谎、情绪感染、和利诱三种方式对实验参与者进行影响。实验结果显示参与人员对AI系统有一种负面心理。

　　在另一个实验中，科学家发现，如果一个智能体的行为违反了一种给定的道德规则，那么它的'shame'(羞耻)情绪就会被激活，以此来降低它当前行为的优先级。如果另一个智能体的行为违反了给定的道德准则，当前智能体的'reproach'(责备)的情绪将会激活，以使得自己远离此智能体。

　　通过对最近的研究进行概括可以发现，它们主要集中于研究可泛化的个体道德决策框架，在其中集成规则和相关的示例。更多的工作也需要从人们的行为中收集数据。如何使AI系统做出更具道德伦理性的判断，是当前人与AI交互系统的重点。

　　另一方面，由于自动驾驶车、自动化武器等成为了现实，我们需要开发一种统一的全局的AI道德框架来解决这些问题。未来可能的研究方向有：更可靠更好用的众包数据收集机制。由于AI越来越多地被应用于生活中，我们可以考虑修改完善当前的一些社会约束。AI系统需要合理地解释它们的决策行为。将具有伦理特性的AI系统引入生活中，如何会影响人们的行为体系？通过对抗性的游戏研究来设计更好的伦理AI。将相关的各个交叉学科联系起来，协同合作，研究AI相关的伦理道德。

　　我们期待未来会有更多的研究者从事到这个新兴的领域中，做出更多更好的研究。

　　[1] 本文所讲述的论文：Yu H, Shen Z, Miao C, et al. Building Ethics into Artificial Intelligence[C]//IJCAI. 2018: 5527-5533.

　　[2] 新华网报道：http://www.xinhuanet.com/fortune/2017-11/21/c_1121987357.htm