千年前一场对话，让我明白了 VR 的意义

　　" 在 VR 世界里，触摸古老文明 "。

　　作者｜鹿尧

　　" 每颗主星，都有自己固定的方位，请你参照卷轴的提示，移动火土木三星，让它们逐一归位。" 按住手柄扳机，随着天空杯的移动，齿轮缓缓转动，掌心也感受到一阵阵的震颤。测定好三星方位，玩家根据提示连接星图，等到青龙白虎跃然纸上，此时提示音再次响起，观星定位就此完成。

　　故事发生在康熙年间，时任钦天监监正南怀仁，要向康熙帝呈进观候天象题本。300 多年后，这份记录了立秋至秋分时候天象方位的题本，通过 PICO 的互动视频，再次呈现在我们眼前：带上 VR 眼镜，在不到十分钟的时间里，穿越时空探寻古籍背后的故事，手柄中的宽频马达，也在真实反馈体验时的触感。

　　对于还原历史这件事，人们总是有着很深的执念，千百年来，记录的形式不外乎文字和胶卷，但时间的冲刷不仅会模糊文字的细节，也会磨灭画面的质感。我们或许需要一种更清晰、更沉浸的体验方式，将历史丝毫毕现地还原在人们眼前。

　　就像我们过去提到的 " 创意机器 "，创新技术的进步，让社会的记忆又回来了。而这一回，是字节跳动公益联合国家典籍博物馆，与 PICO 、抖音共同打造的《古籍寻游记》，让历史得以重现：

　　以 VR 互动纪录片为核心，依托 PICO 的 6DoF 交互技术，以及火山引擎视频云的三维重建和视频扫描技术，将殷墟甲骨、居延汉简、敦煌遗书、明清档案等古籍呈现在 VR 画面中。

　　" 你可以回头，看看钦天监的全貌。如果不恐高，下一个场景可以看看脚下的地球。" 在开头的《钦天监南怀仁题本》里，观众与监正一起登上观象台，使用天文器材夜观天象、完成题本后，沉甸甸的官印落下的那一刻，历史的敦厚跨越千年，在当下产生了回音。

　　01

　　复活古籍的创意底座

　　如果时间再倒退一千多年，这次你不再是观星台上的天文科新人，而是东汉时期戍守边关的一个戍卒，但由于工作失误，导致附近烽燧的助吏被匈奴抓走，本来要受到的惩罚却被上司顶了锅。匈奴大肆犯境，心怀愧疚的你，接下来会怎么办？

　　这是即将上线的《古籍寻游记》里 " 居延汉简 " 的情节。像这样的故事还有几个，除了已经推出的 " 明清档案 " 和 " 殷墟甲骨 "，在后者你可以穿越回现代，体验一把甲骨文的刻制，而在最后一期的 " 敦煌遗书 "，你甚至能借助 VR 世界里，来到五代时期的后唐，跟随天文历法学家翟奉达完成敦煌遗书的修复。

　　如何让现代创意机器与古老的典籍对话，这是一个充满挑战的难题。制作一部 VR 复活古籍的视频，仅文物筛选、定剧情脚本、美术设定，就耗费了制作团队大半年时间。和一般的视频不同，VR 复活古籍还要兼顾趣味性和历史的正统性：在有限的时长内展现历史原貌，同时让观众觉得有趣有意义。

　　传统的单块显示屏或投影方式，观众只能在尺寸和清晰度等参数间权衡，但不论怎么选，都跳不出二维的平面形态，更不能参与其中，获得真实的体感互动。所以为了营造更加贴近现实的沉浸式体验，VR 里的每一个场景和人物的设计都需要精心打磨。

　　在画面制作上，PICO 的解法比较特殊，它利用 VR 技术，通过计算机建模搭建起古代的场景，甚至用电影级别的动捕方案去制作人物动作。例如画面中的文物，大部分都是真实存在的，为了能更细致地展现其构造和纹理，火山引擎视频云采用神经辐射场技术，在不伤害文物的低噪情况下，扫描重建出文物的三维结构。

　　作为字节跳动旗下的云服务平台，近年来火山引擎推出了一系列以云为底座的行业解决方案，视频云也是其中之一。在这次的 VR 视频里，空间建图是行业的另一个难题，除了模型本身的结构会复杂，质感想做好也很难；像传感器的精度、数据的完整度、环境的复杂变化都会造成影响，如果是规模大的空间环境，数据量会非常大，误差也更容易出现，这对于制作团队的算法要求更高。

　　据火山引擎视频云团队介绍，在对敦煌石窟里的场景进行重建时，由于团队具备基于视觉、RGBD 数据集，以及多模态数据作为支撑，所以他们只需要扫描视觉数据，再融合应用 SLAM、深度学习等技术，就能对场景及其细节进行更快速和精准的复刻。

　　当文物和场景的静态画面都重建好，这时候要做的，就是对动态物体、人物的实时重建。这里涉及到的光场视频技术，在制作难度上要远高于场景重建，前者需要在三维空间内记录物体的所有信息，包括形状、深度、颜色等，除了要实时捕捉处理大量数据，还要用更复杂的算法来支持画面处理、光学模拟和深度计算。

　　当用户跟随南怀仁行至紫微殿，能看到周边树影斑驳，殿内明暗影影绰绰，这些真实感和还原程度极高的画面，主要得益于火山引擎视频云团队基于深度学习的生成技术。

　　由于光场视频比传统视频的数据量大得多，于是团队采用了多视角编码的方案，将数据进行压缩处理，让原本需要很多相机采集的工作，用稀疏的多相机输入就能完成。

　　02

　　原来 PICO 还能这么玩？

　　智能设备和移动互联网的普及，让视频已经成为不可或缺的表达方式和传播载体，这意味着，每一帧画面都可以被视为一件技术产品，也让追逐更好的用户体验，成为所有创作者的心照不宣。

　　近日，2023 火山引擎春季 FORCE 原动力大会上，针对 " 体验创新 " 这个概念，火山引擎基于字节跳动的技术沉淀，在智能图像、音视频等方面为企业提供创作和互动营销服务，视频云也是众多赋能到企业的内部工具之一。

　　作为火山引擎云服务版图中的一环，视频云除了提供一套完整的音视频解决方案，包括视频上传、转码、传输等功能，提高视频处理的质量和效率之外；在这次古籍活化的项目中，三维重建、视频扫描、光场视频技术等，让它能够满足当下视频在制作过程中更高的要求。

　　火山引擎总裁谭待，谈及行业里的确定性趋势，他认为，随着互联网音视频用户在去年底已经达到 10.4 亿，视频化重塑消费者体验成了一个必然逻辑，在这种情况下，用户通过音视频获取信息、服务的这一行为，将成为影响企业优化消费者体验的方式和路径。

　　所以为了给用户更好的视频体验，这次视频云的产品升级，分别对应了 " 更高清、更交互、更沉浸 " 的三个方向。按照这个逻辑，火山引擎除了推出 AR 互动营销、创意互动 Vlog、虚拟数字人等新产品；具体到火山引擎视频云的能力来看，比如基于自研编码器 BVC2，人们能在点播、直播、编辑视频时，在不影响编码速度和画面质量的情况下，用更少的内存将文件储存起来；又或者在有限的带宽条件下，满足 8K 的 VR 直播观看条件，这主要得益于火山引擎视频云开发的 "VR 注视点渲染 " 技术。

　　我们过去一直认为，VR 头显要成为真正的 " 消费级 " 产品，不仅需要硬件的成熟、价格的下探，还要有足够丰富的内容池。就拿 PICO 来说，PICO 4 采用的 Pancake 光学方案缓解了画面畸变，让设备更薄、更轻，在佩戴头显的时候，巨大的屏幕让人置身 360 度环绕的空间里，给观众带来加沉浸的视觉和互动感受，这也无形中放大了内容的想象空间。

　　于是近两年，PICO 不断拓展内容主题和形式上的边界，除了线上直播演唱会、虚拟演出，还有 VR 小剧场、世界杯直播，包括这次的《古籍寻游记》，就是在文化艺术方面的尝试。虽然这些只是现在 VR 视频生态的冰山一角，但在火山引擎视频云的技术加持下，对比以前经常穿模、清晰度低的过山车等全景体验，画质、对焦、沉浸感，都上了好几个台阶。

　　有一点值得注意，在 VR 里，游戏、视频、直播这些内容形式之间的界限并非泾渭分明，作为一种表现方式，VR 的特殊性除了体现在三维的画面上，第四维上的触觉也十分重要。一般情况下，根据可交互程度的不同，VR 中经常会提到的两个概念是 3DoF、6DoF，6DoF 指除了 3 个转动角度外，再加上下、前后、左右等 3 个位置的自由度。

　　说的直白点，3DoF 是一种原地体验，人在 VR 空间里只能转头观看，但不能位移，相当于脑袋是被固定住的；但 6DoF 就能让用户在场景里行走，不光能四处观看，还能做出接近现实的动作，如在《钦天监南怀仁题本》中，你可以和南怀仁在观星台用天文器材观星，跟随他进入紫微殿，拿起毛笔书写文书，也能在其他的故事里体验甲骨刻字，甚至点燃烽火。

　　如今，6DoF 交互技术已经被运用到主流的 VR 一体机上，如 Meta Quest 2、PICO Neo3 及之后的产品。但互动是一方面，在 PICO 的团队看来，在实体交互的过程中，触觉是必要的感官，如果要去真的定义未来电影，像从默片过渡到有声时代一样，并将 XR 从玩具变为工具，要实现的是让视频有 " 触感 "。

　　为了解决这一问题，PICO 的答案是我们之前提到的——宽频马达。PICO 4 采用的就是 50-500Hz 的宽频线性马达，和手机将音频直接转换成振动效果不同，无论是看 6DoF 影视作品还是畅玩游戏，宽频马达能模拟不同物体交互时的不同频率的震感，用户可以感受音乐音浪的震动节奏与触碰触感，效果更逼真。

　　有意思的是，为了将画面音效转变为相应的震动效果，PICO 将音频接口集成到 SDK 中，相当于一个资源库，让开发者灵活取用。据官方介绍，" 宽频马达 + 空间音频在 6DoF 视频中的应用，PICO 是独家。" 言下之意，PICO 已经作为一种生态平台，能够容纳创新，吸引更多的用户和创作者，成为一种类似大众媒介的存在。

　　03

　　VR 的真正价值究竟在哪？

　　从最初的书写文字到印刷术的发明，再到如今的数字时代，毫无疑问，科技的发展和社会的进步，人们对于获取信息的需求和期望也在不断地变化和演进。每一次终端设备的革新，像 PC 主机之于游戏，智能手机之于短视频，都会引发内容形式上的改变，有了先进的视频技术、光学、交互手段的 VR 头显，也在探索更合适的内容。

　　就像《古籍寻游记》所展示的，在古代，人们通过亲身体验、口述传承等方式来获取信息，这种方式往往需要时间和空间的消耗。等下我们可以通过虚拟现实、增强现实等技术来实现更加沉浸式的信息获取体验。人们对于获取信息的趋势正在向更多的沉浸感方向发展。

　　然而，很长时间以来，早已实现千万用户的 VR，由于核心场景仍是游戏，对于听腻了 "VR 元年 " 的从业者和用户来说，这类产品似乎很难真正兑现它的 " 下一代移动设备 " 的承诺。因此如 VR 教育、VR 工业、VR 医疗、VR 文旅等更多应用场景的内容需要被开发出来。

　　从内容形态上来看，当下 VR 已经发展出影视作品，互动剧、展览等沉浸体验，以及直播等方向，VR 这一媒介为创作者打开了空间。但我们也看到，SteamVR、Quest 这类平台的优秀作品，几乎都是国外开发者。实际上国内缺少的，不仅仅是具备策划能力和创意驱动的内容工作室，还有给创作者提供展示机会的生态或平台。

　　以前有业内人士评价，就像 iPhone 一样，真正让它被大众市场认可的，并不单单只是硬件的升级，还有软件和应用生态，PICO 把自己定位为世界级的 XR 平台，尤其是在火山引擎提供了视频技术作为创意底座的情况下，前者所欠缺的内容生态，也恰好是字节所擅长的，两者的结合，意味着这门生意的想象空间更大了。

　　在火山引擎原动力大会上，" 体验创新 " 这个说法不单单是体现在用户端：更高清、交互和沉浸；在 " 坚定上云 " 成为 IT 基建的业界共识的情况下，火山引擎面向不同场景和行业，推出不同的工具助力企业和创作者实现突破。举个例子，与传统影视不同，VR 内容在制作时，已经把 4K 作为基本的分辨率，这需要依赖强劲的算力支持，来为用户提供刷新率更高、清晰度更高的体验，火山引擎起到的就是算力的摆渡作用。

　　总而言之，这也是火山引擎视频云与 PICO 合作的价值：不仅能提升 C 端用户的体验和感知，同时也在赋能企业。借用这种方式，VR 行业的创新也正在不断突破过去的认知。

　　— END —

　　更多内容，点击下方关注