RACV2019观点集锦 ｜ 未来2023年07月18日年计算机视觉发展趋势（一

　　引言

　　计算机视觉是人工智能的“眼睛”，是感知客观世界的核心技术。进入21世纪以来，计算机视觉领域蓬勃发展，各种理论与方法大量涌现，并在多个核心问题上取得了令人瞩目的成果。为了进一步推动计算机视觉领域的发展，CCF-CV组织了RACV 2019，邀请多位计算机视觉领域资深专家对相关主题的发展现状和未来趋势进行研讨。我们将研讨内容按专题实录整理，尽最大可能以原汁原味的形式还原观点争鸣现场，希望有助于激发头脑风暴，产生一系列启发性的观点和思想，推动计算机视觉领域持续发展。

　　本期专题为“未来2023年07月18日年计算机视觉发展趋势”。各位专家从计算机视觉发展历程、现有研究局限性、未来研究方向以及视觉研究范式等多方面展开了深入的探讨。

　　主题组织者：林宙辰，刘日升，阚美娜 讨论时间：2019年9月27日 发言嘉宾：查红彬，陈熙霖，卢湖川，刘烨斌，章国锋 参与讨论嘉宾[发言顺序]：谢晓华，林宙辰，林倞，山世光，胡占义，纪荣嵘，王亦洲，王井东，王涛，杨睿刚，郑伟诗，贾云得，鲁继文，王亮 文字整理：阚美娜，刘日升

　　开场：山世光、林宙辰

　　山世光：上次计算机视觉专委会常委会上，在谭院士的倡议下这次RACV尝试一下相对比较小规模的、以讨论未来与问题为主的这样一种形式。这次的RACV希望所有的发言人，都不是讲自己的或已经做的工作，而是围绕着每一个主题讲一讲自己的观点和看法。大家在发言的时候可以无所顾忌，可以争论。我们会有记录和录音，但最后的文字会经过大家的确认之后才发布。

　　林宙辰： RACV是希望大家有一些深入的研讨，互相挑战，以达到深入讨论的目的。第一个主题是未来2023年07月18日年CV的发展趋势。希望我们这次研讨会尤其是CV发展趋势这个主题能够类似达特茅斯会议，产生一些新的思想。

　　未来五年或十年CV的发展趋势是很难预测的，有时候想的太多，反而容易跑偏。所以，今天我主要从自己认识的角度说说后面我们该做些什么样的事情。

　　首先，说说什么叫计算机视觉？我这里给了一个比较严格的定义，即使用计算机技术来模拟、仿真与实现生物的视觉功能。但这个定义并没有将事情完全讲清楚，这里把计算机和视觉两个概念揉到了一起，但到底什么叫计算机、什么叫视觉并没有说。什么叫计算机大家是能够公认的。但什么叫视觉，其实在计算机视觉领域里还没有一个大家都认可的定义。

　　我们不妨先看看现在计算机视觉领域里有哪些研究内容。先来看看今年ICCV各个分会的关键词，其中最大的几个领域是deep learning；recognition；segmentation, grouping and shape等。这些领域是视觉吗？说是图像处理、分析与理解也能说的通。关键问题在于，我们讲来讲去到底是不是真的在做视觉？这点有必要再想想。举个例子--人脸识别：人脸识别现在能识别大量的人脸图像与视频，几十万、几百万人都能够识别。它是用大数据驱动的方式来达到目的的，而且是离线学习的。但识别算法在实际应用中对光照、遮挡等的鲁棒性比较差。我们回过头看看人的人脸识别有些什么样的功能呢？我们人识别人脸的功能很强，但只能识别很少数量的人脸，如亲戚、朋友、同事等，超过一定范围之后人是很难识别出来陌生人的人脸的，我们能看到有差别但分不清谁是谁。第二个，人是在生活情景当中进行主动性的样本学习。我们之所以能够认识亲属，是因为我们在日常生活当中与他们生活在一起，建立了各种各样的关系。我们主动地用样本来学，利用了不同层次的特征。所以，尽管我们识别人脸的数量少，但是我们对抗干扰的能力很强。所以我觉得这是人的人脸识别和现在机器的人脸识别之间的差别。也就是，人的视觉中的人脸识别有它明显的特点，它能很好地应对现实环境中的视觉处理任务。

　　那么现实环境中的视觉处理应该考虑哪些因素呢？我们有计算机、机器人这些智能机器，同时还有其它两个关键的部分。第一个部分是要通过视觉这个接口来同外部世界建立联系，同环境进行互动；第二个是我们讲视觉的时候，生物的感知机理给我们提供了很多依据。这其中，我们要应对的是现实环境的开放性，以及三维世界的复杂性，我们要面对场景当中很多动态的变化以及层次性结构的多样性。

　　

　　另一方面，生物的感知机理有什么呢？它是一个学习过程，但这个学习是柔性的，并不是我们现在这样的离线学习并固定的方式。我们现在的机器学习用起来就只是测试。但我们人的学习中测试和学习过程并不是严格可分的，它有结构上的柔性，也需要层次化的处理。此外，它有主动性，能够根据它的目的和任务主动地进行学习。同时，我们日常生活当中所需要的是一种时序数据的处理，是一种增量型的处理过程。从这样的角度来看，我们将来的计算机视觉研究需要考虑把真实环境的特点与生物的感知机理融合进来。这样就会更接近“视觉”这个词本来的意义。

　　那这其中有哪些事情我们可以去考虑呢？首先是学习的问题。现在，深度学习用的很多，但它只是我们人的模式识别当中的一部分功能，对于视觉研究来说，还有很大的挖掘空间。也就是说，我们考虑计算机视觉中的机器学习的时候，不仅仅是深度，还要把网络的宽度、结构可重构性与结构柔性结合起来。我们要把不同的结构层次研究明白，同时把不同模块之间的连接关系考虑到网络里来。我们人的大脑就是这样的，大脑从视觉的低层特征抽取往上，它具有很多不同的功能性结构在里面，而且这个功能性结构是可塑的。其次，除了通常讲的识别功能之外，我们要把记忆、注意等一些认知机制通过学习的方式实现出来。目前已经有一些这方面的工作了。将来这些机制在计算机视觉里面可能会作为学习的一个核心目标，融到我们现在的整个体系当中。另外，还应考虑通过环境的交互这种方式来选择需要的样本进行自主学习等。所以，这种学习方式上的结构柔性应该是我们追求的一个目标。

　　另外一点，我们现在的计算机视觉还比较缺乏对动态场景的处理。我们现在很多工作是在静态场景里面，像人脸识别也是在静态场景里面来做。尽管有时候我们用视频来做，但并没有深入考虑整个场景的动态特性。现在动态目标的跟踪、检测、分析、行为的识别与理解等这些工作都有在做，但还没有上升到一个系统化的水平。我们也应该把更多的注意力放到像移动传感器的定位、三维动态场景的重建与理解等一些事情上面来。所以，我认为动态视觉是未来的另一个重要研究方向。

　　还有一个是主动视觉。主动视觉是把感知与运动、控制结合起来，形成一个闭环。计算机视觉里很早就有一个研究课题，叫视觉伺服，是想把控制和感知很好地结合起来。我们的感知一部分是为任务目的服务，另外一部分是为感知本身服务，即从一种主动控制的角度来考虑感知功能的实现，以提高感知系统的自适应能力，迁移学习、无间断学习或终身学习等都可以应用进来。此外，还应当考虑常识、意识、动机以及它们之间的关系。也就是说，我们要把视觉上升到有意识的、可控制的一个过程。

　　

　　      如果我们把前面提到的时序与动态处理等结合起来之后，应该更多考虑在线学习。我们不应该全部依赖目前这种离线学习、仅使用标注数据，而是应该在动态的环境当中，根据运动与动态数据流本身的特性来做预测与学习。这样可以把前面提到的记忆与注意力等一些机制结合起来，最终实现一种无监督的在线学习系统。这样一来就能把现实环境中的一些特点与变化考虑进来，形成一套新的理论。而这个理论，跟现在的深度学习、图像处理分析与理解等相比，会更接近我们讲的视觉这个概念。

　　预测可见未来是一件风险极大的事，对于这个命题作文我只能说个人的观点。我更愿意从历史的角度来看这件事情。首先，我们回顾一下计算机视觉的发展历程。我把过去几十年的过程分为以下几个阶段。第一个阶段我称之为启蒙阶段，标志性的事件是1963年L. Robert的三维积木世界分析的博士论文(Machine Perception of Three-dimensional Solids)和1966年夏天Minsky安排几个本科生做的手眼系统。这个阶段对计算机视觉的估计过于乐观，认为这事太容易了，很快就可以解决，正如S. Papert的报告中写到的“The summer vision project is an attempt to use our summer workers effectively in the construction of a significant part of a visual system”。启蒙阶段的重要启示就是发现这个问题远比想象的困难。

　　从七十年代初期开始进入第二个阶段，我称之为重构主义，这是以D. Marr的视觉框架为代表的。这个框架在Marr的总结性著作“Vision --A Computational Investigation into the Human Representation and Processing of Visual Information”中有很好的阐述。其核心是将一切对象恢复到三维表达。其基本过程是：图像à基本要素图(primal sketch)à以观察者为中心的三维表达(2.5D skecth)à以观察对象为中心的3D表达。这个过程看起来很漂亮，但却存在两方面的问题——首先是这样的过程是否是必须的，其次是如果都试图恢复三维，这样不论对感知测量还是计算是否现实。我个人认为三维在计算机视觉中的作用也是有限的。这个阶段的工作也导致了上世纪90年代初对计算机视觉研究的反思和争论。有兴趣的各位可以看看1991年CVGIP: Image Understanding第53卷第1期上的讨论文章。

　　第三个阶段我称之为分类主义，反正只要能识别就好，不管白猫黑猫抓住老鼠就好。人脸识别、各种多类物体识别等都在这个阶段大行其道，研究者们采用各种各样的方法，从研究各类不变算子(如SIFT、HOG等)到分类方法(如SVM、AdaBoost等)。这个阶段推进了识别问题的解决，但似乎总差最后一公里。

　　最近的一个阶段我称之为拼力气比规模阶段，其核心是联结主义的复兴，这得益于数据和计算资源的廉价化。这类方法在各种分类问题上似乎得到了很好的解决。但这些方法背后缺少了很多研究需要追求和思考的东西，过去我们都在讲找一个美妙的办法。如同我们希望瞄准目标，以最小的代价击中目标。现在这类方法更像是炮决，今天我们似乎进入了这样的炮决时代。

　　那么未来会是怎么样的？从前面的发展历史来看，计算机视觉经过几十年的发展进入了野蛮人的时代。什么叫进入野蛮人的时代了？今天大家说人工智能热，可几乎所有拿来验证人工智能的例子都是和计算机视觉相关的。而今天很多所谓的计算机视觉研究就是拿深度学习训练一个模型，所以说这是个野蛮人的时代。那么野蛮人时代有什么问题？我们看上一个和野蛮人时代相关的历史——罗马帝国。罗马帝国是被野蛮人消灭的，罗马（更具体的是指西罗马）从建国到被灭亡，中间大概有500年。而且西罗马被灭了以后，还有一个叫神圣罗马帝国，按照尤瓦尔·赫拉利《人类简史》上的说法后者既不神圣也不是帝国。当年罗马帝国也是所有的东西都讲究漂亮美丽——斗兽场、引水渠以及打到哪修到哪的条条大路(通罗马)。计算机视觉早年的研究者也是天天追求漂亮，要数学上美、物理上美等等，就和当年罗马帝国一样。现在也真的和罗马帝国一样了，我们遇到了蛮族人。这个蛮族人是谁？就是深度学习，和过去罗马人关心文明，蛮族人关心财富一样，在计算机视觉的研究上，我们也面临着如何选择的问题。当然，历史也会惊人地相似，蛮族人占领罗马以后也不是什么都没干。后来他们建立神圣罗马帝国，到后来导致文艺复兴。今天计算机视觉的研究在我们看来也需要一个文艺复兴。什么是我们的文艺复兴？我们当下的计算机视觉就处在这么一个需要思考的时期。而不是一味地倒向深度学习。现在有些研究走向比蛮力的阶段，就跟打仗比坦克、大炮的数量一样，靠拼GPU的规模和计算能力。下一步，我们需要往哪里走？这是现在这个野蛮人时代需要思考的。

　　预测未来五到十年这是一个风险极大的问题。所以我只能通过前面讲的历史和我的一点思考谈谈对未来的一些可能。

　　首先，一个值得关注的未来趋势是从识别到理解，套用古人的说法就是从知其然到知其所以然。过去十多年计算机视觉在识别方面取得了显著的进展，但是现在的识别远远不是我们所期望的识别。例如你教它识别一个杯子，它不会想到杯子和水有任何关系，不会想到杯子有任何的其他功能，因而完全是填鸭式的。今天的识别远远不是可解释的。谈到可解释，我认为在计算机视觉领域的可解释应该是对结论的解释，而不是解释网络行为，前者应该更有价值。那么要解释这一切靠什么？应该是靠某种形式的逻辑关系，这种关系可以通过语言表达，语言应该起到桥接作用。这里的语言和自然语言有关系也有区别，可以是独立于我们自然语言的，是机器自己对世界理解的语言。换句话说，我们把世界的物体重新编码起来，然后把物体和物体，物体和环境的联系建立起来就好。有了这样的从基本属性到对象直至环境的关系，就有可能实现从知其然到知其所以然。所以我觉得未来最重要的趋势就是从无需知识支撑的识别到需要知识支撑的理解，或者说从单纯的Bottom-up的识别到需要知识启发的具有反馈、推理的更广义的计算机视觉，这也是我自己这几年特别关注的研究方向。

　　其次，值得关注的一个趋势就是对空间感的有限需求。关于为什么动物需要视觉，主要是两方面的需求——首先要保证寻找食物和不被天敌吃掉——识别能力；其次是保证不会因为对空间的错误判断而造成意外伤害(摔倒或者撞击等)。视觉最重要的就是解决这两件事情。那么为什么讲对空间感的有限需求？我们的三维空间感，只是在相对比较近的时候，才需要很精确。在距离稍远一点的情况下，大多数时候其实不关心精确的空间位置，而可能关心一些如遮挡、顺序等关系。另外，如果你试图把一切对象都用三维来表示的话，不管是从计算的代价还是从可实现性来讲都很难。试想恢复一个一米远处的对象，可以做得很精确，而对于一百米或者更远的对象，如果希望保持相同的量化精度，对深度值的量化就会成问题。这就是说的有限需求的含义，但是我觉得这件事情一定很重要，特别是在较近的时候。

　　第三个值得关注的趋势就是不同模态的结合，即所谓聪明合一，人的聪明离不开耳聪目明。这里的模态不仅仅限于视听觉，还可以包括不同的二维、三维的视觉传感信息等。生物的感知从来不是仅靠单一模态的。在多模态中需要解决好的一个问题是不同模态间的对齐与因果问题。如果同时存在从多个模态获取的信息，时空对齐是非常重要的挑战。与时空对齐相关的另一个问题是因果关系，虽然我们希望获得因果，但绝大多数时候得到的仅仅是关联，两个现象之间可以是第三个因素导致的，如同云层间放电导致电闪和雷鸣，这两件事是关联的，但绝不是电闪导致雷鸣。在绝大多数情况下我更倾向于去探索关联而不是因果，特别是在数据驱动的模型下，离开机理试图发现因果是困难的。但在未来的计算机视觉研究中不同模态的结合和关联是一个重要的趋势。

　　第四个需要关注的趋势是主动视觉，所谓主动就是在视觉系统中纳入了反馈的机制，从而具有选择的可能。视觉如果仅仅以独立的形式存在，则不论是从感知所需的精度、分辨率以及处理的能力都需要成指数规模的增加，生物视觉由于有了主动选择的机制，因而在视野、分辨率、三维感知与能量消耗方面得到了很好的平衡。当计算机视觉的研究不仅仅是为了验证某个单一的功能时，上述生物视觉的平衡一样需要在计算机视觉系统中考虑，实现从感知、响应到行为的闭环。从被动感知走到主动的感知，这是从算法到系统的一个重要趋势。将视觉的“看”与“响应”和“行为”构成广义的计算机视觉系统，通过有主动的“行为”进行探索，实现“魂”和“体”的合一。这对视觉应用系统是至关重要的——例如一个经过预训练的服务机器人，可以通过在新环境中的主动探索，实现整体智能的提升。所以我认为这是未来视觉应用系统的重要趋势。

　　我没有讲具体的算法哪些是重要的。我想说一件事情，就是关于深度学习，我觉得未来深度学习就会像今天计算机里看到的寄存器、触发器、存储器乃至CPU一样，成为基本构件。关于趋势，延续前面的划分，计算机视觉将进入一个知识为中心的阶段。随着深度学习的广泛应用，计算机视觉系统将不仅处理单一任务。在复杂视觉任务的处理中，主动视觉将起到重要的作用。通过主动的响应和探索，构建并完善视觉系统对观察世界的关联(因果)关系并借此理解空间对象的时空关系、物理属性等。这算是我对今天讨论问题的个人预测。

　　刚才前面两位老师已经提纲挈领的提了一些观点，我可能有一些和他们是相似的。

　　从理论方面来讲，我觉得目前深度学习的理论好像有点走不太动了。具体来说，从Backbone的发展来看，网络结构的设计，基本上没有更多新的内容。另一方面，某些领域还是比较热门的，发展比较快。比如说自然语言处理（NLP）和视觉的结合，这几年取得了很多进展，特别是聊天机器人等相关的实际需求，驱动着VQA等技术都有较大的进展。尤其是基于图的方法和视觉结合在一起可能会越来越热。以知识图谱为例，如果知道一些先验知识，知道一些知识图谱的话，可能会更好的去理解图像或者视频。例如，给定一幅图像，里面有一只猫和一个鱼缸，猫用爪子抱住了鱼缸，还盯着鱼缸里面的鱼，如果我们知道知识图谱里猫和鱼的关系， 我们就能很好的描述出猫想吃鱼缸里的鱼，从而更好的帮助视觉理解图像或视频里目标和目标之间的关系。所以说，我觉得基于图或图谱的方法和视觉结合在一起未来几年会有更大的发展。

　　第二方面，我觉得三维视觉会继续快速发展。从前两年开始冒头，到现在已经较为火爆，不仅仅局限于三维场景重构等领域，最近基于三维视觉的检测与分割等都有一些优秀的工作涌现。随着基于各种各样的嵌入式设备和手机端的需求，像华为手机已经有三个背面的摄像头，甚至多个摄像头（它的三个摄像头的定义，一个是超广角的，一个是广角的，另外一个是高精度的摄像头，不同的分辨率，可以更多的去模仿人的视觉方式）。由于人观测世界本身是三维的，所以移动端的这种大量的应用会牵引着三维视觉在这方面越来越走向更深入的发展。

　　第三方面，最初我们提到深度学习时，通常都会说手工设计的特征（handcrafted feature）有各种各样的不好，而深度学习是一个端到端的网络。实际上，深度学习的网络结构也是手工设计的（handcrafted）。目前，网络结构搜索NAS兴起之后，我觉得在这方面可能会有更多的一些改善，能够把一些常规的操作，包括一些常规的模块都融入进去，来不断优化网络结构而不是手工设计（handcrafted design）。我觉得未来几年在这方面，甚至包括网络结构的压缩和裁剪方面都会有更多的进步。

　　第四方面，深度学习兴起之后，我们看到诞生了一大堆的数据集，并且都是有ground truth标注的数据，在其驱动下，深度网络达到了一个比较好的性能，目前绝大多数的数据集在性能方面基本上也趋于饱和了，但是距离实际问题仍然有较大的距离。另一方面，人对世界的认知基本都是小样本学习的结果，和目前的大数据驱动的模式不太一样。所以能否将当前大数据驱动的方式和人参与的方式结合起来？现在也有很多这样的论文来研究人主动参与的或者是human in the loop的学习方式，可以把人对ground truth的主动标记结合起来，引导快速的学习，甚至把性能提高到一个更高的高度。

　　第五方面，视频理解在前几年开始有初步的发展，特别是到这几年有更多的需求和深入的趋势。因为现在基于图像的所有任务做到一定程度之后可能都做不动了，或者说没有更多的花样了，那么对视频的各种理解越来越多，包括视频摘要、视频场景分类、广告识别、台标识别等等，很多这方面的应用，我觉得未来几年会有更长足的发展。

　　我觉得在主题（topic）方面，未来会有更多的发展领域。随着刚才陈老师说到野蛮人的时代来了，大家参与视觉研究的热情很高，不光是学术界，产业界对这种需求也是非常巨大的。因此我觉得目前深度学习领域，视觉会在各个行业纵深发展。举个例子，这两天有一个公司提出这样的一个需求，即鞋印踩上去之后，希望能识别是哪个犯罪嫌疑人来踩的，这个就是足迹识别。进一步，他们想通过这个足迹来判断这个鞋的鞋面是什么样的，是什么牌子的。然后通过这些线索进而去库里搜索比对，搜索完了之后，再去视频里面去找犯罪嫌疑人，即穿这种鞋的人到底是谁。这个过程中，一步一步的从源头开始到后面，形成了一系列的视觉问题，行业的这种纵深发展需求是无限巨大的。视觉里面还有很多之前没有想到的事情在不断进步，两天前我参加了工业机器人展，看到有一个捡包裹的机器人。我们都知道快递小哥要送了一大堆包裹，各种各样的包裹都有，能否在包裹车拉来一车包裹后，让机器人去分类呢？我在展会上看到就有这么个机器人，它会自动的去识别是什么样的包裹，而且知道它的三维的曲面是怎么样，因为包裹放的角度都完全不同，它会调整机械臂，适应包裹的三维曲面的法线方向，去吸附它。我感觉在不同行业实际需求下，像分割、三维建模等视觉技术都会快速在各个行业里得到深入的发展。

　　另外，我觉得在医疗图像方面也会有很大的进展。医疗图像现在更多的是各个疾病的检测。昨天跟一个医疗单位在一起交流，他们提供了一个很大的平台，它的最终目标是通过病人的不同模态的信息，来最后综合判断病人到底是什么样的病。不仅仅਷