晏萍 | 负责任创新、价值设计与人工智能伦理——访范·德·霍文教授

栏目:科技资讯  时间:2023-08-11
手机版

  负责任创新、价值设计与人工智能伦理

  ——访范·德·霍文教授

   

  (晏萍  大连理工大学马克思主义学院)

  本文来自《哲学动态》2020年第9期

  “国外学者访谈”专栏

  所用图片均来自网络

   

  

  杰伦·范·德·霍文(Jeroen van den Hoven,又译杰伦·冯·登·霍温)是代尔夫特理工大学(Delft University of Technology)哲学系教授,荷兰当代著名技术伦理学家。曾任荷兰4TU科技伦理研究中心创会主席(2007—2013),荷兰国家“负责任创新”项目创办人、主席(2009—2016),现任代尔夫特理工大学价值设计研究院(DDfV)院长、欧盟委员会“欧洲伦理学专家组”(EGE)常任理事、国际期刊《伦理学与信息技术》(Ethics and Information Technology)主编。2009年,获得世界技术伦理大奖(World Technology Award for Ethics)及国际信息处理联合会信息技术与社会奖(IFIP Prize for ICT and Society)。由于在负责任创新及相关领域的杰出成就,霍文教授被评为代尔夫特理工大学建校近两百年以来的第三位校级最高荣誉教授(University Professor),并被荷兰国王授予骑士称号。霍文教授多年来致力于计算机伦理、价值敏感性设计、负责任创新、价值设计与人工智能伦理研究,出版或主编了《信息技术与道德哲学》(Information Technology and Moral Philosophy,2009)、《负责任创新1:解决全球问题的创新方案》(Responsible Innovation 1: Innovative Solutions for Global Issues,2014)、《负责任创新2:概念、方法和应用》(Responsible Innovation 2: Concepts, Approaches, and Applications,2015)、《设计伦理学》(Designing in Ethics,2017)、《邪恶在线》(Evil Online,2018)等多部专著和文集。作为访者在代尔夫特理工大学访学期间的合作者,霍文教授于2019年4月受邀来华参加学术研讨会期间接受了访谈,阐述了他对于负责任创新、价值设计、人工智能伦理等近年来技术哲学领域的前沿问题的最新看法。

  一  负责任创新:兴起、内涵与方法论

  问:霍文教授,您好。“负责任创新(Responsible Innovation,RI)”这一概念是您首先在荷兰提出来的,后来逐渐成为欧盟 “地平线2020(Horizon 2020)”计划的主要内容之一。您可否介绍一下,究竟什么是“负责任创新”?这一理念又是怎样产生的呢?答:这一概念最初是我参与的荷兰研究委员会在相关研究工作基础上提出的。负责任创新项目开始于2007年,是迄今为止荷兰研究委员会运行时间最长的项目,总投入大约三千万欧元。我们有“负责任创新”官方网站,其中详细列出了已完成的所有项目。它已被纳入荷兰国家创新战略。因此,我们在创新和新技术方面所做的一切都始终围绕这一战略。“负责任创新”到底是什么?首先,创新需要针对世界上的一些重大问题,我们称之为重大挑战、千年目标(the millennium goals),或者联合国可持续发展目标(United Nations sustainable development goals),因为它们关系到人类的生存和发展,并且无处不在。其次,负责任创新要求我们必须非常严肃地对待这些重大问题,并且要确保把时间、精力和纳税人的钱用在做正确的事情上。这是一个方面。另一个方面就是伦理学家所主张的,我们所做的每件事——无论设计或发明,或者人与人之间的交往——都要考虑事情的后果,特别是对他人的影响。技术的发展规模很大。我们要考虑技术所带来的影响,要用明确的价值观对它进行评估,即它是如何影响健康、幸福、安全、权利、需求、自治、义务或责任等价值的;然后用明确和系统的语言来评估人的行为。也就是说,评估技术可能的后果,并了解和分析行为的替代方案。在与所有直接或间接受到这些行为影响的各方进行磋商和交谈之后,我们就会得出结论:应该做什么。至于应该怎么做,我们当然可以独自工作,或者与同事或相关领域的专家合作;通过从那些将会在我们所做的事情中受害或受益的人那里得到反馈,并因此扩大我们思考范围的做法,就是我们认为的“负责任”的一部分,即考虑各种各样的选择、行为的所有后果,然后明确和系统地进行价值评估。总体上看,价值是多种多样的,比如尊严、安全、可持续性等。这些不只是一系列道德评价的标签,我们要考虑的是其中涉及的相关问题。我们首先要对所有选择进行价值评估,然后试图给出技术上的解决方案。“负责任创新”这一新范式区别于以往任何范式(比如STS、技术评估等)的地方就在于,我们将那些仅仅在知识层面、语言层面讨论利益相关者之间伦理关系的文字和主张转变为设计的需求。其中的关键就在于如何以一种有意义的方式,将伦理学家口中的道德评价变成工程师和技术人员可以明确理解和使用的方式。这正是负责任创新中所强调的设计因素,是扩展了的“价值设计(design for values)”,是伦理学家一直以来所做的事情的延伸。负责任创新的目标即是把问题转换为设计。首先,发现社会生活中的真正问题;其次,试图通过技术干预来解决这些问题;再次,对其中所面临的后果和选择进行详细和系统的价值评估;最后,将这些因素作为技术设计的要求。问:那么,您怎样看待负责任创新的方法论?我们从事负责任创新研究最有效的方法或者路径是什么?是案例研究、利益相关者分析、四维度分析,还是技术评估?答:在此我引用很多同事合作的一篇文章[1]中的观点,那就是负责任创新有多元研究路径或方法,比如应用伦理、STS、技术评估等。我认为,因为有很多现成的方法可以使用,而且负责任创新也适用于不同的研究路径,所以负责任创新的方法论是相当综合的。你刚才提到了案例研究,负责任创新研究的确非常需要案例分析,因为我们致力于寻找非常具体的解决方案。当然,我们需要对所有相关的价值进行分析,同时要注意到利益相关者的多样性。在具体案例分析中,我们需要明确利益相关者都有谁,因为这些直接或间接的利益相关者代表了特定的价值视角。问:您提到了“所有的利益相关者(all stakeholders)”,您在2013年的欧盟专家委员会报告《选择的加强:负责任研究与创新》(Options for Strengthening:Responsible Research and Innovation)中也提出要满足所有的利益相关者的价值需求。那么,您如何界定“所有的利益相关者”?界定标准又是什么呢?答:在伦理学中,我认为“所有”总是意味着相关性,比如所有的价值、所有的利益相关者、所有的考虑因素等。利益相关者的某一方可能会提出他眼中的相关者,但我们可以就“这些相关者是否真的相关”与之进行讨论。我们总是要独立地提出这个问题——也可以考虑更多——这真的相关吗?如何确定是否相关?目前还没有规则或算法可以做到这一点,所以我们同样需要在对话中确立其中的相关性。这种对话是开放且理性的,每个人都可以表达自己的想法。问:是的,对话的确很重要,但也会带来问题。因为不同人的眼中可能会有不同的利益相关者,那么我们应该听从谁的声音呢?到底谁是相关者?谁有权作出决定呢?答:在某种程度上,我们的确不能——这也取决于问题有多紧迫——无限期地让对话继续下去。客观地说,这并没有明确的答案。我也不能给出一个抽象的一般性答案。我们要对具体案例具体分析。首先,这不仅仅是谁有权作出决定的事情。比如,我认为谁应该坐到谈判桌前,而你建议另外一些人——并不是我建议的人——应该坐到谈判桌前。我需要证明自己的观点,而你需要反驳我。我们会看到谁是对的或者说谁可能是对的。其次,作为反对方具有更大的责任进行辩护。如果你认为某一方应该成为利益相关者,而我反对,我就有更大的举证责任来为自己辩护:为什么我要把他们排除在外。再次,需要注意的是,这里适用比例性条款(proportionality clause)原则。比如责任,如果你的行为范围更大,你的责任就更大。如果你比我有更多的资源,那么你就应该做得更多。这其中包含一个简单的“‘应该’蕴含‘能够’”的原则。关于“谁是利益相关者”的讨论就适用比例性条款原则。也就是说,“谁是利益相关者”与特定案例的利害关系成比例。我们如果讨论国家层面的基础设施或项目(如核能、基因工程、生殖细胞的基因编辑等问题)带来的严重后果,就需要更长的时间进行更彻底的讨论。二  负责任创新与价值设计问:负责任创新与以“价值设计”为主的一些相似的概念,比如“有意义的人类控制(meaningful human control)”“价值敏感性设计(value sensitive design,简称VSD)”和“道德物化(materialization of morality)”等,似乎都强调利益相关者、价值、互动、包容、设计和过程。您如何看待它们之间的关系呢?答:这个问题很好,也很重要。在我看来,道德物化和价值敏感性设计基本是一样的,它们是一枚硬币的两面,或者正在变成这样一种关系。价值敏感性设计是道德物化或实现道德价值的方法,可以使其具有操作性。但这需要一种有序、系统和透明的方式,如此才能证明我们所做的是正确的。其中,除了伦理学家用理论来阐释人工物的原理外,还要通过抽象的伦理探讨和思考去塑造世界上的一些东西。而负责任创新是技术哲学的设计转向——也就是将伦理原则和伦理思考作为设计需求——的重要组成部分。这一点经常被忽视。但并不是所有为特定价值而设计的尝试都可以等同于负责任创新。因为我们知道,有人可能为成瘾而设计,也可能为各种非善的价值进行设计,比如设计集中营、大规模杀伤性武器。这些也是价值设计,而且是非常精细的设计,但这些不是负责任创新所规定的设计。所以,价值设计是负责任创新的必要条件,但不是充分条件。如果非要用一句话来解释负责任创新,那么这句话就是,负责任创新将“创新”解释为一个道德范畴。我想强调的是,我们可以试着把创新看作一种进步——即使只是暂时的进步。这也是奥特加·加塞特(José Ortega y Gasset)所说的“技术是什么”——技术总是试图让事情变得更好。我们尝试的本质总是:我们想到了一些新的建议,生活会因为它而变得更好。这就是创新的道德化。问:您在2017年发表的一篇论文《面向联合国可持续发展目标的负责任创新和全局性工程》[2]中,提出了“全局性工程(comprehensive engineering)”概念,并阐述了“整体主义”方法。其中您提出了三个维度,即融通性(consilience)、相关性(coherence)和协调性(cooperation),请问它们是描述性的还是规范性的呢?答:在我看来,这些都是规范性的,是关于如何将伦理学理论付诸实践的建议。整体主义是一种涉及本体论和认识论的主张,同时还有实践的含义,是反还原论(anti-reductionist)的。虽然我们创造了不同的学科,比如生物学、化学、物理学等,但现实世界并非如此。现实世界是一个整体,每件事情都以特定的方式联系在一起,我们则试图用分析手段弄清楚其中的原理。就当下的现实世界而言,我们面临的问题变得越来越难,也越来越复杂。部分原因是我们把所有的事物都联系起来了,是我们使它们变得非常复杂。因此,我们需要实施全局性工程,要考虑尽可能多的相关方面。问:要进一步理解“全局性工程”概念,您认为这三个维度可以作为它的标准吗?或者说,如果实现了这三个维度,也就是实现了全局性工程?答:是的,我正在尝试这样做。这种尝试是试图将负责任创新推向更深的层面,但目前来看目的还没有完全达到。尽管美国工程院已经发布了一份关于整体性的报告,但它还没有真正流行起来或者人们还没有真正认识到它。有人说,卡尔·米切姆(Carl Mitcham)也提出了类似的理念,那就是“考虑周全(take more into account)”的责任。所以我们要记住,世界是一个整体,这是一方面,是关于“融通性”的解释。另一方面是我们很难将道德问题进行区分,因为它们都是相互关联的。比如,隐私问题与保密、问责、透明、自主性等问题是相互交织的,单纯分析隐私问题非常困难。我们需要了解概念的相互关系,并进行概念性重建,以使我们能够朝着可接受的解决方案前进。这是关于第二个维度的解释。第三个维度是协调性。显然,这涉及很多利益相关者。这是我们所熟悉的,我认为没有人能单独解决这些问题。问:您在这篇文章中说:“全局性工程的观点认为,我们需要超越负责任创新,以负责任的方式在全球系统范围内解决紧迫问题。”这是否意味着负责任创新是有局限性的?答:我认为从目前的框架来看,负责任创新有一些局限性。比如,我们面临的一些问题可能无法通过单纯的技术叠加来解决,这也是负责任创新所隐含的意思。当然,我们的确可以创造一些技术来解决很多问题。比如我们已经解决了人们睡在公园长椅上的问题,但还没有解决那些买不起房子的穷人的住房问题。这不是用技术方法就能解决的。同样的道理也适用于更高层次的负责任创新。所以,虽然负责任创新是有局限性的,但我认为它仍然激励着我们,在一个更丰富的背景下,在更有利于道德的环境中,要考虑评估道德的所有方面,然后将道德需求转为设计要求。问:我能把您说的理解为,如果负责任创新是药方的话,它实际上无法治愈世界上的所有疾病,尽管它在很多方面都很有用。答:绝对是这样的。在可预见的未来,我们的确无法解决因为贫困或者权力的巨大不对称所带来的根本性问题,或者说所有问题。对此,我认为最好的方法是寻求一种中期解决方案,它可以是技术性的,是基于功利主义的,同时我们也要记得解决其他道德层面的问题。所以,从价值敏感性设计到负责任创新再到更大规模的思考是一个全局性工程,这是我迈向第三阶段思考的路径。三  负责任创新与人工智能伦理问:您在目前关于负责任创新的研究中,似乎特别关注人工智能(AI)伦理。您是从负责任创新的视角研究人工智能伦理,还是认为人工智能伦理有不同的研究方法?答:我认为既然人工智能伦理是一个新的快速发展的领域,就必须做一些探索性的工作。在这一过程中,我们可以使用一些与负责任创新相同的原则。比如,我们应该试着思考人工智能怎样促进发展,并为世界上的一些重大问题找到解决方案。人工智能领域有很多工作要做,比如做好的人工智能(good AI)、实现联合国可持续发展目标等。但在这个过程中也存在一些新问题,我们必须花一些时间尝试了解它们是什么,然后再开始为特定解决方案进行设计。首先,在开始考虑实际解决方案之前,我们必须了解可能会出现哪些新的基本问题。只有当我们非常清楚这些基本问题的时候,价值设计和负责任创新才会发挥作用,而且这些问题也揭示了负责任创新和价值设计的特点。我们已经说过,并非所有问题都能用技术方法解决,尤其是那些根本不需要以技术方案解决的问题。举个伴侣机器人(companion robot)的例子。我们可以设计出更好的伴侣机器人,但也要考虑我们是否应该这么做:我们应该把机器人当作伴侣,还是应该让人更多地与人接触?这个例子说明负责任创新和价值设计追求的是更多和更好的技术,而有时我们可以选择完全不使用技术,因为我们更倾向于人与人接触。如果因为特殊情况,有些人不可能有人际接触的机会,那么拥有一个伴侣机器人将是次好的选择。其次,现在人们的生存方式、人与人之间的沟通方式都发生了很大变化,比如说我们现在打电话,有时候都不知道电话的另一边是人还是人工智能。这里的问题就是,人们是否有权知道我们正在与人沟通,还是在处理一项技术或人工智能。这是一个稍微不同的问题。我们正处在人工智能迅速发展的阶段,需要探索一些更深层次的问题,比如如何从道德的角度来优化技术,这就是价值设计或负责任创新的视角。问:您对人工智能伦理的阐述很容易让我想到“异化”问题。在您看来,人工智能作为一种技术,如果我们对它不进行有意义的控制、调节和限制,它有可能作为异化了的技术对我们产生威胁。答:所以我认为,按照我们现有的安排,这是一个很大的威胁,是对人类主体和人类责任的威胁,而主体性和责任仍然是现代概念的核心组成部分。如果我们不对技术进行仔细设计,就可能受到伤害,因为它会腐蚀和破坏那些使我们成为全面发展的人的可能条件。所以我们必须小心,要以更有利于使我们更负责任的方式设计和使用人工智能等技术,以使我们成为更好的主体。这就是更高层次的责任。在分析与责任相关的方法时,有两种方法很值得关注。第一,在做某件事的时候,你可以创造条件,使别人更容易让你负责;第二,你可以做同样的事情,但使别人很难让你负责。所以,如果你做的事情是公开的,而且说明是你做的,那么我们很容易提出批判性的观点,追究你的责任。如果你事前不公开、不说明,之后就可以有很多借口说这不是你的意图,从而不那么容易让别人觉得你应该负责。因此,至少在一定程度上可以说,责任问题是关于优化被追究责任的条件问题。这种想法在这里也适用,是因为如果我们让人工智能技术参与进来,并让它侵蚀和破坏承担责任的环境,那么人们就可以说“我”不需要负责。人们会找借口说并不是“我”在控制,“我”只是关注社交媒体而已,所以这是一种恶的信任(bad faith)。让我们来谈谈可靠的人工智能(trustworthy AI)。现在人们对于人工智能主体性的理解存在争议,有的人甚至认为人工智能是有“意识”的。而我所说的可靠的人工智能,是从你和我身上抽象出来的,是人设计了它,即便它有自我学习和自我优化的系统,也是人设计了这样的系统,所以人总是参与其中的。如果我现在说,存在一种可靠的人工智能,它阻碍了周围所有人的参与,那么这恰恰是我们的责任。伦理从来不是关于人工物的,有些人可能认为,价值设计是关于物的,但我们之所以要关注物,是因为我们想让人们的实践有不同的选择。伦理总是关于人的,比如说,我们想要建一座安全的桥,“安全”并不是关于桥的,而是关系到我们自身。问:我的理解是,您对人工智能实际上提倡或强调了两个方面:第一个方面是,您并不把人工智能看作道德主体,您认为我们需要强调人的主体性,而不是机器的主体性。所以这是人的问题,不是机器的问题。答:是的!机器就是机器。即使是人工智能,即使它看起来真的很聪明,它说话的方式很像人,但它也不是人。约翰·塞尔(J. R. Searle)曾说,如果人们认为某种东西像鸭子一样走路,像鸭子一样嘎嘎叫,那它就是鸭子,但事实并非如此。人工智能也是这样。它像人一样说话,这可能在暗示它是一个人,但它并不是。问:第二个方面是,您分析人工智能伦理的目的是避免人们逃避责任——以人工智能的名义逃避责任。正如您刚才解释的,有时人们认为自己不需要负责任,因为这不是“我”做的,是机器做的,或者说是系统做的。但实际上您试图提醒那些逃避责任的人,无论如何你都会参与其中。答:是的。虽然有时候很难看到人类主体性在哪里,因为它太复杂了,有太多人牵涉其中。这就像建造中国的长城,其中有“多手难题(problem of many hands)”,有复杂性难题,有不断涌现的现象,还有各种无法预见的后果,因而必然存在着貌似合理的可推诿性(plausible deniability)。也就是总会有人说,对不起,这是技术性的结果,我们也没有办法。但是,责任也是一个设计问题,更高层次的责任则是为责任而设计。所以我们的设计目的就是把自我设计为责任主体,而不是将人类与机器的所谓“主体”混为一谈,对复杂性趋之若鹜,满意于貌似合理的可推诿性。因此,如果我们试图思考如何赋予人工物人格或道德上的主体性,我认为这不是正确的解决方案。正确的解决方案应该是通过设计让人们知道是谁做了什么。问:是的,我完全同意您的观点,但我也感觉到这种方法内部存在着张力,因为有学者提到如果从康德义务论的视角来面对和处理人工智能,那么要避免逃避责任就取决于“他是一个好人”。但如果他是一个坏人呢?他不遵循这种方法呢?答:我认为你是对的。我们必须面对这个问题。实际上,我们永远都无法建立一个百分之百安全的系统。我们将永远依赖于人们的意图,一向如此。尽管如此,我仍然认为,我们很有可能设计出更有利于有效地和充分地把责任分配给个人或组织的工作方式。我们可以做得更好。问:是否可以这样理解:声称一个系统是完美的并不困难,但恰恰是发现这个所谓“完美的系统”中所存在的某些限制或缺点,才是对我们真正有价值的和必要的。答:是的。我们甚至可以欣赏它的不完美,并提出这样的观点:一个原则上不可能做错事的系统,可能也不是一个好系统。因为那样的话,做错事就不再成为可能,而我们恰恰是在反思错误的过程中体会到做正确事情的价值所在。如果我们永远不能打开一扇不被允许打开的门,那么道德世界会是什么样子呢?所以说,我们总是在做正确的事情,这很好。但我们也想让人们去思考,在思考中我们就会了解哪些选择是我们真正的选择,什么是道德困境。这也是锻炼我们的道德理解力的方式。所以,如果我们开始相信因为我们不可能做错事,我们所做的每件事都是正确的,那么我们就失去了道德的敏锐性。问:接下来您能谈谈关于道德想象力(moral imagination)问题吗?因为您多次提到人工智能和道德想象力。您所说的具有道德想象力的人工智能是什么意思呢?是人工智能本身还是人工智能的设计者?答:我再强调一下,人工智能是关于人的,这来自康德的绝对律令。我们必须要有一些道德上的想象,想象我们是在按照这个律令行事。这是我的原则。同样,道德在很大程度上是关于所有这些意愿、能力、准备和积极实践的。因此,在《邪恶在线》[3]一书中,我们将其作为分析问题的非常重要的组成部分。我们借鉴了韦伯·比克(Wiebe Bijker)的工作——他提出了“诠释弹性(interpretive flexibility)”理论——分析了许多问题。比如,社交媒体(social media)中的在线互动和交流。现在年轻人在网上做的许多事情都涉及新技术,我们并不完全清楚它是什么,但其中表现出的许多行为都是道德问题,比如网络欺凌,或者诱惑人们自杀等。我们通过分析这些机制,发现了有关责任问题的讨论。有些年轻人在回答问题时会把“这只是一项技术”作为借口,他们会说“我只是设计了一个网站”。但现在你的同学因此自杀了!然后他们会解释说,“我只是在网上开个玩笑,这只是技术问题”。所以他们描述自己行为的方式让他们看起来很无辜。这就是汉娜·阿伦特(Hannah Arendt)所说的“平庸之恶(the banality of evil)”,也和奥诺拉·奥尼尔(Onora O'Neill)的“相关描述性问题(the problem of relevant descriptions)” 有关,即探讨人应该如何描述自己的行为。按照奥尼尔的分析,实际上人们可以用无数种方式描述自己的行为。所以,以往我们过于关注人们是说真话还是谎话,但对于“什么是道德”这一问题,在我看来,最重要的是如何看待欺骗的意图。当然,我们也要关注技术如何帮助我们变得更好。比如,技术是如何支持我们的道德想象力的,一个例子是虚拟现实技术。我们可以用这样的技术来扩展我们的经验,来产生如玛莎·努斯鲍姆(Martha Nussbaum)所说的“敏锐的洞察力和强烈的责任感(finely aware and richly responsible)”,这也是所谓的“产生共鸣的经验(vicarious experience)”。这些都是我们所说的道德想象力的作用。问:接下来是一个非常宽泛的问题:您认为技术哲学未来的发展方向是什么?答:这可能是我的偏见,但我认为技术哲学的发展将更倾向于伦理学。我们发现,现在存在一种奇怪的控制反转:50年前我们无法控制的事情,现在可以控制了;那些我们以前可以控制的事情,现在却再也无法控制了。所以,我们将会思考这些事情,思考我们所依赖的系统中人类的主体性和责任的后果是什么。这些都是我们将要思考的更深层次的、更普遍的问题,但它们同时有非常实用的价值。另外,一方面我们要从过去吸取教训,另一方面我们现在非常提倡技术哲学中的设计转向。我认为设计是一个被低估的概念。“设计”的转向让我们思考世界应该如何被创造,所以我们从思考世界应该是怎样存在的(ought to be)——也就是道德上的要求——到思考在技术如今已经变得如此重要的情况下,世界应该如何被创造(ought to be made)。也就是说,我们需要通过设计来思考我们与世界联系的方式,这种思考正变得越来越重要。所以我认为,未来会给设计理论提供更多空间。

  注释:

  [1]W. Reijers, D. Wright, P. Brey, K. Weber, R. Rodrigues, D. O'Sullivan and B. Gordijn,“Methods for Practising Ethics in Research and Innovation: A Literature Review, Critical Analysis and Recommendations”, Science and Engineering Ethics, 24(2018 ), pp. 1437-1481. http://doi.org/10.1007/s11948-017-9961-8.

  [2]该论文于2018年被翻译成中文,参见杰伦·冯·登·霍温:《面向联合国可持续发展目标的负责任创新和全局性工程》, 刘欣译,《大连理工大学学报(社会科学版)》2018年第3期,第1—5页。

  [3]Dean Cocking, Jeroen van den Hoven, Evil Online, Wiley-Blackwell, 2018 http://jeroenvandenhoveneu/book/evil-online-2018/.

  

  微信号:zhexuedongtai

  微信编辑:罗启权

上一篇:电影留白艺术浅谈
下一篇:文化视角下的电影性别观分析