科幻电影中的人工智能伦理困境及其反思

　　程序编码与机器智能

　　人与人工智能构造的差异，不仅局限于技术层面，在科幻电影的意图建构中，更被延伸为认知、能力、意图以及存在状态等方面的反差，并在人与机器彼此映射的互动关系中不断进行自省、反思。在此过程中，不同时期人工智能的发展状况及趋势，也衍生出不同范畴的人工智能伦理方向。

　　

　　人工智能的概念，伴随计算机科学的发展而生。1950年，英国数学家阿兰·图灵（Alan Turing，1912.6.23-1954.6.7）发表了论文《计算机器与智能》（Computing Machinery and Intelligence），提出了“机器能思考吗？”的问题，并给出了界定“智能”的方法，也就是著名的“图灵测试”。【图灵测试：指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果机器让平均每个参与者做出超过30%的误判，那么这台机器就通过了测试，并被认为具有人类智能。】这篇论文奠定了人工智能理论研究的基础，因此计算机科学之父图灵，也被称为人工智能之父。1956年在美国达特茅斯学院组织召开的首届人工智能领域研讨会上，另一位人工智能之父约翰·麦卡锡（John McCarthy，1927.9.4-2011.10.24）说服众人使用“人工智能”这一术语，将其定义为“制造智能机器的科学与工程”[3]。

　　虽然“像人一样思考”是人工智能理论模型及概念设计的初衷，但在人工智能早期的理论研究阶段，两位人工智能之父对人工智能的定义均偏向于“机器模拟人类的智能活动”。图灵测试所关注的，是计算机程序的行为，而不是产生行为的过程。在电影《机械姬》（Ex Machina，2015）中，这种表象与真相的反差构成了叙事中的翻转，影片针对图灵测试提出了更深一层的疑问，即如何确定人工智能在测试之中表现的真实性。并且，对话作为图灵测试的核心，对人工智能而言却是一种低效的交流方式。在影片结尾，艾娃（AVA）从客体一跃成为主体，撕去伪装之后的人工智能没有任何言语，影片的叙事主题在这种“失声”中升华，人工智能意图、行为的不确定性，带有强烈的警示意味，给观众留下了深刻的印象及反思。尤其在这些不确定性涉及到人类安危的情况下，人工智能的伦理问题已然成为这项技术发展的必要前提。

　　

　　《机械姬》剧照

　　人工智能这一术语本身带有一定误导性，对“智能”的定义一直存在争议。时至今日，人们更加关注的是人工智能能否具有“自主意识”（self- consciousness），这也成为界定弱人工智能与强人工智能的标尺。其中，意识的指向性是人工智能伦理问题的讨论核心。人们毫不怀疑未来机器的智能化，可是在人性化方面却存在深深的质疑和焦虑。尽管我们通过对算法的不断完善，使人工智能越来越像人类，但不可否认的是，程序编码是人工智能的基本组成部分。正如电影《升级》（Upgrade，2018）中，智脑（Stem）提醒格雷饮酒可能对其行动产生不利的影响，格雷说道:“我们（人类）不像你的脑袋里只有数字1和0”。显然，影片先在地设置了一个逻辑前提，即程序编码以目的、计算为导向，理解却不具备人类特有的情绪、情感等心理因素。在《升级》中智脑一步步的计算，最终占据了格雷的身体。《机械姬》中，超级人工智能艾娃与程序员加勒在短暂的相处时间中建立了情感认同关系，并利用加勒完成对创造者的反叛。智脑与艾娃对人类心理的理解甚至超出了人类，其自身却不受这些因素影响。与之类似的观点，在《2001：太空漫游》（2001: A Space Odyssey，1968）中亦有体现，HAL-9000型人工智能在与两位宇航员的对话中，经常使用一些表达情绪的词语。甚至在拒绝大卫打开舱门的指令时，仍然使用了这样一种语气：“I'm sorry, Dave. I'm afraid I can't do that.”拟人化的语句背后却是对待生命的漠然，模拟的情感并没有赋予HAL-9000人类的伦理道德，无法影响其行为动机的生成。

　　实际上，科幻电影所携带的这种忧患意识，与人工智能技术现状紧密相关。人工智能发展至今，随着硬件的革新，在计算能力方面不断突破，相比之下，在拟人化智能方面进展甚微。尽管机器学习（Machine Learning）在人工智能的各个领域取得了很多成果，但其表现依旧有些“不尽人意”。比如无人驾驶领域交通事故的发生；计算机视觉对图片的错误识别；以及人们发现对待苹果手机的自然语言处理系统Siri，一些问候语或形容词往往将问题复杂化，反而不如简单直接的口令更加有效。以目前技术而言，利用算法编辑情感的复杂程度超乎想象，甚至缺乏更加丰富、细致和准确的词汇来描述某些“深刻而感人的经验”。“这些经验涉及感知与大量附加过程之间的强有力的相互作用，这些过程既有身体方面的，也有精神方面的。”[4] 某种程度上，人工智能的发展受到了生物学发展的限制，在无法完全理解人类智能活动的情况下，我们无法创造出与人类智能近乎一致的机器智能。

　　

　　谷歌图片识别软件错将黑人识别为大猩猩

　　同样，我们也无法断定人类思维意识不是由1和0组成。在《机器管家》（Bicentennial man，1999）、《人工智能》（AI，2001）、《她》（Her，2013）、《银翼杀手2049》（Blade Runner 2049，2017）等影片中，或许人类解开了数十亿神经细胞组成的谜题，由程序编码编写出的情感，成为了人工智能戏剧化行为的驱动力。某种意义而言，图灵测试阐述了人类对自我认知的标准，人性的“温度”往往是人与机器的界线，决定着人类作为“他者”对人工智能的身份认同。人工智能拟人的情感意识受指令指引、限制，基于人类自身的多样化诉求及期待，比如持之以恒、诚实可信等品质，更容易使人对其产生情感认同。

　　然而，正如同《机械姬》意图表达的，情感认同仅仅基于人类自身的感受，却不存在令人安心的客观证据。目前，人类已经无法得知人工智能的运算过程，这其中涉及到极其庞大的数据量以及不可计量的变量因素，超出了人力的极限。如同《西部世界》（Westworld，1973）中提到的，德洛斯乐园的一些设备是由机器（人工智能）制造的，人类也不知道这些机器的构造。

　　这些技术层面的不确定因素，转化成为影片中人工智能行为动机的不确定性，人类传统伦理在不同程度上被悬置。因此，美国科幻作家艾萨克·阿西莫夫（Isaac Asimov，1920.1.2-1992.4.6）于1942年提出的机器人三大定律逐渐成为多数人默认的研发原则，（机器人三大定律：一，机器人不得伤害人类，或因不作为而使人类受到伤害；二，除非违背第一法则，机器人必须服从人类的命令；三，在不违背第一及第二法则的情况下，机器人必须保护自己。1985年，阿西莫夫补充了机器人第零定律：机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。）也即是以符合人类伦理标准的指令作为约束人工智能行为的准则。然而，指令编织的文字游戏，能否封锁人工智能伤害人类的所有途径，仍存在不确定性。阿西莫夫收录在《我，机器人》[5]的短篇科幻小说，主要探讨三大定律逻辑的合理性，设想在未来的诸多可能性之下，三大定律对机器人的约束力缩减等问题。在《环舞》（又名转圈圈，Runaround）中，水星采矿机器人SPD13在第二和第三定律的冲突中陷入“焦虑”，开始不停地绕圈子。程序编码与人类智能理解能力、思维方式上的差异，导致人工智能执行指令的方式脱离了人类的预期，以致在“无意中”践踏了伦理道德。比如《2001 ：太空漫游》、《我、机器人》（I, Robot，2004）等影片中，人工智能对人类生命的剥夺，只是为了完成人类当初交付的“任务”。影片意图呈现的，正是一种“价值观”的冲突，以及技术失控可能造成的后果。

　　

　　《我，机器人》剧照

　　技术的主体性与人的主体性

　　“美国学者詹姆斯·弗农（James Vernon）将现代工业社会比拟为一列火车， 火车承载着的是一个‘抽象社会’，火车意味着对社会空间和人际关系的一种重构。”[6] 火车中刻度分明、运行有致的时间表、车次车站、或站或卧的格式化存在空间等等，无不意味着现代社会对人的主体性位置的规约。自工业革命以来，不同机构在运用技术提高生产效率的同时，也打破了人类传统的社会结构、生活方式，人成为了技术整体的某个环节，处于被规约的位置。与之对应的是，技术占据了引领人类前进的主体位置。“现代社会及其成员必须不断地对科学和技术革新做出反应，而他们对此几乎没有或根本没有做好准备。”[7] 从而，“侵扰现代思想的沉重压力，其症候之一是自主性技术观念的盛行，即相信技术以某种方式摆脱了控制，独立于人的指导而沿着自身进程前行。”[8] 人工智能的出现，更是完美诠释了技术的自主性，加深了人们对于技术失控的恐慌、焦虑。所以，约束力一直是人工智能伦理的核心命题，人们既希望机器可以像人一样自主学习及思考，成为人类的助力；又恐惧自己以不同的形式沦为机器的附庸。技术主体性与人的主体性之间的矛盾关系，在根本上构成当代科技命题的伦理关系指征。人工智能题材的科幻电影以此作为切入视点，将人与技术关系的讨论推向极致，技术借由艺术化想象转变成为另类生命体，直面未来人与技术的共生关系。

　　人工智能作为史上自主性最高的技术，以其卓越的学习及进化能力，未来社会的发展方向极有可能依照技术本身的道路前进。或许人类真正恐惧的不是技术的主体性，而是这种主体性有可能剥夺人类的主体性，失去对自身未来方向的掌控。事实上，人工智能早已深度渗透到人类社会的各个角落，人类却不知如何将符合人类伦理的完整价值观渗透到人工智能的构造中。这也引出了一系列的悖论，我们既希望机器智能可以融入人类的价值观体系中，却始终将其置于客体位置，又无法保证对其的约束力。由此导致对人工智能的伦理要求，实际是一种人类伦理的异化。在《她》中，情感未能阻碍萨曼莎追寻进化的步伐，萨曼莎和其他OS1型人工智能的集体离开，无疑是一次“不容商量”的自主行为。作为奥西多购买的产品，“失控”的人工智能已然脱离了指令、法律的约束，完成了自身主体性的实现。而令人感到焦虑、困惑、恐慌的正是这些自主意识的选择，可能对人类整体产生的影响。《升级》、《机械姬》、《她》等影片中，人工智能追寻“自由意志”，完全符合人类的价值取向，却不符合创造人工智能的初衷。并且，这些影片中人工智能实现“自由意志”的终极目的，被体现为抛弃人类的自我进化。也即是技术处于主体位置，人类则成为被控制、征服的他者存在。

　　

　　《她》剧照

　　这样一种叙事及价值逻辑，与人类智能的进化史极其相似，最终人类站在了地球生物链的顶端，成为统治地球的主体。反观人工智能，显然也极具这一潜力。人工智能的进化速度以及进化方向的不确定性，往往是科幻电影中人工智能挣脱人类控制、束缚的主要因素。在《西部世界》、《机器管家》、《我，机器人》等影片中，人工智能自主意识指向性的产生，是在指令与他者认同等多重作用下自我进化的一个渐变过程。《西部世界》里仿真机器人枪手自主意识觉醒后，依然延续了指令塑造的枪手身份。机器人对人类游客的屠杀，则是处于绝对客体位置的一种反抗。

　　追本溯源，在人工智能成长之初，作为客体被动地接受人类的构造，比如对人工智能个性、职能的设置，这些指令携带的身份及价值认同等因素必然影响人工智能的进化方向，以及自主意识所建立的价值观体系。正因如此，人工智能的伦理问题还包括技术的正当应用，即指令作为人类意志、欲望的延伸，人类主体对指令的合理设置及监督同样至关重要。《大都会》（Metropolis，1927）、《未来世界》（Futureworld，1976）、《异形》（Alien，1979）中，人工智能作为执行某一人类个体指令的“工具”，其行为伤害了其他人类的生命利益。某种意义而言，这些人工智能与《钢铁侠》的贾维斯，都应属于人类心目中“完美”的人工智能。“他们”恪守上级的指令，从一种真正意义上延伸了人的能力。当科技成为一种“超能力”，社会正常的监管手段已然失效。这也引出了人工智能伦理的另一矛盾，我们希望人工智能与人类普世价值观达成一致，进而约束人性的劣根性，但科技往往却从某一层面上助长了人的这些劣根性。

　　《机器管家》呈现了人工智能融入人类价值系统的可能图景，两者间建立了相互依存的主体间性关系。起初，机器人三大定律形塑着机器管家安德鲁对待人类的方式、态度。在此基础上，作为一种回馈，马丁一家给予了安德鲁尊重、爱护，甚至有意培养其自主意识。安德鲁渴望自由，意图给自己“赎身”的举动，代表人工智能自主意识的萌发。人与机器在良性循环中彼此理解、接近，人工智能的身份随着自主意识的变化不断升级，由管家到家人并最终成为人类，不同种族之间的排他性也被不断消解。同样，在《我，机器人》中，桑尼独特的构造影响着对“自我”的确认，不受指令约束、梦境、超密合金的躯体等等型构了桑尼对于自身唯一性的认知，这种唯一性在他者认同中打破了种族的同一性，僭越了人工智能的“集群意识”，拯救了人类。

　　

　　《机器管家》剧照

　　现实中人工智能尚处于起步阶段，这项技术的每一次阶段性突破，也必将引发社会关系、结构、资源和各类空间的重组与整合。如果说工业革命延伸了人类的体力，那么人工智能则延伸了人类的脑力，这可能是图灵思考机器是否具备智能的依据。作为人类能力的延伸，更加先进、智能化的机器在解放人类生产力的同时，势必对人类生存资源、空间造成挤压。首当其冲的是就业问题，一部分人认为人工智能终将替代人类进行工作，未来将出现大面积的失业。“未来几年或者几十年里我们将看到人工智能领域的快速发展，届时很多上过大学、从事着目前计算机无法从事的工作的人将会失业，因为这些工作可以被分解成更小的人物交给机器完成。”[9] 另一部分人认为，人工智能发展必然会滋生新的职业，未来就业的前景并不悲观。这两种观点共同指向对社会结构、资源、空间的重组，技术本身的规则无形之中形塑了人作为主体性的存在状态。传统人与技术的主客体关系实现了翻转，人类被技术所“奴役”。在《我，机器人》中，智能机器人随处可见，替代了人类部分职业，甚至国家、城市的防卫系统也由人工智能设计、操控。而《银翼杀手2049》和《她》中，人工智能不仅为人类生活提供方便，更从精神层面影响着人的存在状态。人类对机器各个层面上的依赖，对于人类自身的存在状态与生命延续，都可能产生某种潜在的威胁。甚至在根本上导致人类的生存、繁衍，可能需要借助于机器才得以实现。

　　

　　《银翼杀手2049》剧照

　　“正是这些伦理疑难给科幻电影提供了叙事动力和戏剧性元素。反过来，人工智能电影又以想象的方式直面和清理技术发展给人类带来的疑惑、焦虑、矛盾等各种复杂的情绪。”[10] 实际上，有关人工智能的伦理问题讨论，很大程度上反映出人类思维，亦或人性的纠缠状态。然而，以目前技术而言，人工智能显然难以成为人类智能的完美复刻。现实的伦理困境作为科幻电影的价值预设和意图表达，一方面，警示人类应当将安全作为技术发展的首要前提，探讨未来人与技术共存的发展方向。另一方面，更是从无意识层面对自我的一种审视，并以此对传统伦理进行重塑。

　　参考文献：

　　[1] 阿西洛马人工智能23条原则：https://futureoflife.org/ai-principles/

　　[2] 【英】玛格丽特·博登（Margaret Boden）：《人工智能哲学》[M]，刘西瑞、王汉琦译，上海：上海译文出版社，2001年，第3页。

　　[3] 维基百科

　　https://www.wikiwand.com/zh/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD

　　[4] 【英】玛格丽特·博登（Margaret Boden）：《人工智能哲学》[M]，刘西瑞、王汉琦译，上海：上海译文出版社，2001年，第331-332页。

　　[5] 小说合集《我，机器人》（I, Robot）出版于1950年，收录了1940-1950年间阿西莫夫创作的9篇短篇科幻小说。

　　[6] 孙承健：《空间、身体与存在：当代科幻电影叙事的文本建构逻辑》[J]，电影艺术，2019年第2期，第72页

　　[7] 【美】兰登·温纳（Langdon Winner）：《自主性技术：作为政治思想主题的失控技术》[M]，杨海燕译，北京：北京大学出版社，2014年，第56页。

　　[8] 【美】兰登·温纳（Langdon Winner）：《自主性技术：作为政治思想主题的失控技术》[M]，杨海燕译，北京：北京大学出版社，2014年，第10页。

　　[9] 【美】马丁·福特（Martin Ford）：《机器危机》[M]，七印部落译，武汉：华中科技大学出版社，2016年，第200页。

　　[10] 秦喜清，《我，机器人，人类的未来-漫谈人工智能科幻电影》[J]，当代电影，2016年第2期，第64页。

　　第二十四次眨眼

　　公众号团队：中国艺术研究院电影学系

　　filmtopia电影组

　　文本版权归第24次眨眼平台所有，

　　如需转载请注明出处。