编者按：20世纪30年代，虚拟现实雏形就已经出现。继2016年虚拟现实产业元年与2019年5G云VR元年过后，虚拟现实产业开始进入起飞阶段。我国“十四五”规划纲要在数字经济重点产业中，明确提出要发展虚拟现实整机、感知交互、内容采集制作等设备和开发工具软件、行业解决方案。本期主要介绍虚拟现实相关技术情况。
本期要目
虚拟现实概念、系统和关键技术
虚拟现实技术应用领域
5G技术与虚拟现实技术的有机融合
虚拟现实概念、系统和关键技术
一、虚拟现实的概念
虚拟现实（virtual reality，缩写VR），简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界影像传回产生临场感。该技术集成了电脑图形、电脑仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果，是一种由电脑技术辅助生成的高技术模拟系统。
二、虚拟现实的特点
虚拟现实与其他技术相比，明显的、区别的特性如下：
（一）沉浸感。沉浸感是指用户作为主角存在于虚拟环境的真实程度。在具体实施的过程中，用户通过虚拟现实的相关设备，可将自己融入虚拟的环境之中，成为虚拟环境之中的一员。用户在虚拟世界中的感受和对其中物体的相互作用，就如同在现实世界之中一样，有一种身临其境的体验。
（二）交互性。交互性是指用户对虚拟世界内物理的可操作程度，以及从环境得到反馈的自然程度。虚拟现实系统的人机交互是一种近乎自然的交互方式，用户通过自身的语言、身体运动或动作等自然技能，就能对虚拟世界中的对象进行考察或操作。计算机能根据用户的动作和指示来调整系统呈现的图像和声音。
（三）多感知性。多感知性是指虚拟现实的设备具备的人工智能逻辑分析能力。由于虚拟现实系统中安装有视、听、触、动觉得传感装置，所以当用户在虚拟环境中通过人机交互，可以获得视觉、听觉、触觉、动觉等多种感知，从而达到身临其境的感受。
三、虚拟现实系统构成和原理
虚拟现实系统也可称为虚拟现实平台，旨在创建一个可交互的虚拟环境，便于用户探索无法到达或非真实存在的地方。虚拟现实系统是一个庞大的技术系统，哪怕是最简单的虚拟现实系统也由最重要的几个模块构成，即检测模块、反馈模块、传感器模块、控制模块和建模模块。
检测模块侦测来自用户的命令，并通过传感器模块作用于虚拟环境。反馈模块接受来自传感器模块的信息，对用户提供实时反馈，例如我们戴的振动手套等。传感器模块一方面接受来自用户的操作命令，并将其作用于虚拟环境；另一方面将操作后产生的结果以各种形式的反馈提供给用户。控制模块对传感器进行控制，使其对用户、虚拟世界和现实世界产生作用。建模模块获取现实世界的组成部分和其他信息，用三维的模式构成对应的虚拟环境。
整个过程的运作模式大概为：用户首先通过传感装置直接对虚拟环境进行操作，并得到即时的三维模型和其他反馈信息，体验到身临其境的感觉。当系统与外部世界通过传感装置构成反馈闭环时，在用户的控制下，用户与虚拟世界的交互可以无缝进行。
四、虚拟现实系统分类
虚拟现实系统的核心是沉浸感和交互性。根据沉浸感与交互性程度及操作方式的差异，虚拟现实系统可以分为以下四大类。
（一）非沉浸式虚拟现实系统
非沉浸式虚拟现实系统，也称桌面式或窗口式虚拟现实系统，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互。
非沉浸式虚拟现实系统主要具有以下3个特点：用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉；对硬件设备要求极低，有的简单型甚至只需要计算机；应用相对比较普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。
（二）半沉浸式虚拟现实系统
半沉浸式虚拟现实系统，又称为增强式虚拟现实系统，既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统，既可减少构成复杂真实环境的开销（因为部分真实环境由虚拟环境取代），又可对实际物体进行操作（因为部分物体是真实环境），真正达到了亦真亦幻的境界。
增强式虚拟现实系统主要具有以下3个特点：真实世界和虚拟世界融为一体；具有实时人机交互功能；真实世界和虚拟世界是在三维空间中整合的。
（三）沉浸式虚拟现实系统
沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。它通常采用洞穴式立体显示装置或头盔式显示器等设备，首先把用户的视觉、听觉和其他感觉封闭起来，并提供一个新的、虚拟的感觉空间，利用空间位置跟踪器、数据手套、三维鼠标等输入设备和视觉、听觉等设备，使用户产生一种身临其境、完全投入和沉浸于其中的感觉。
沉浸式虚拟现实系统具有高度实时性能、高度的沉浸感、良好的系统集成度与整合性能、良好的开放性和能同时支持多种输入与输出设备并行工作等特点。
（四）分布式虚拟现实系统
分布式虚拟现实系统是虚拟现实技术和网络技术发展和结合的产物，是一个在网络的虚拟世界中，位于不同物理位置的多个用户或多个虚拟世界通过网络相连接共享信息的系统。分布式虚拟现实系统的目标是在“沉浸式”虚拟现实系统的基础上，将分布在不同地理位置上的多个用户或多个虚拟世界通过网络连接在一起，使每个用户同时参与到一个虚拟空间，计算机通过网络与其他用户进行交互，共同体验虚拟经历，以达到协同工作的目的。
分布式虚拟现实系统有以下特点：各用户具有共享的虚拟工作空间；伪实体的行为真实感；支持实时交互，共享时钟；多个用户可以各自不同的方式相互通信；资源信息共享以及允许用户自然操纵虚拟世界中的对象。
五、虚拟现实关键技术
（一）三维建模技术。虚拟现实的核心是构建虚拟环境。三维建模不仅要求虚拟环境真实可信，还强调可交互性，电影、建筑、游戏等不同领域三维建模技术重点与方式存在差异。基于图像的三维建模要点在于从二维图像中确立关键控制点后创建三维模型，而三维激光扫描点云建模技术精确度比图像建模更高，能够以毫米级精确度来重建三维模型。从数据采集开始，到计算机上完成可视交互的三维虚拟模型结束，这是三维建模的完整过程。
（二）三维显示技术。人类所处物理世界是三维空间，但传统显示技术只展现水平和垂直维度形成的二维平面，缺少深浅维度信息。随着光学、电子、激光等技术发展，三维显示技术被引入市场。当前三维显示技术主要可归为4大类：3D电影、舞台全息图、全息投影和体积三维显示。
（三）三维音频技术。为了使用户沉浸在虚拟环境中，必须允许用户在三维空间中任意地方感知声源位置。三维虚拟音频的基础在于将听觉信号呈现给用户耳朵，使这些信号与模拟环境中用户所接收的信号等价。当虚拟音频嵌入沉浸式虚拟环境中，在多感知交互条件下静态声音作用可能会失效。声音合成、传播和渲染逐渐成为与虚拟现实技术相关的重要研究领域。
（四）体感交互技术。通过动作、声音或表情等身体自然行为来与虚拟环境进行非接触交互，这是体感交互技术。体感交互代表性设备是微软公司发布的Kinect，它具备动作捕捉、手势与面部表情识别等多种功能，可应用于课程培训、游戏娱乐、虚拟更衣等领域。体感交互技术研究重点在于识别精确度与广泛性，增加感官刺激可以增强用户“存在感”。（《虚拟现实技术及其应用探究》《国外“虚拟现实技术发展及演化趋势”研究综述》等）
虚拟现实技术应用领域
随着虚拟现实技术的快速发展，它为用户带来了全新的虚拟现实体验，应用领域从国防军事跨越到文娱休闲等众多领域。
一、国防军事
军队通过虚拟现实模拟技术来熟悉危险操作，可避免损毁昂贵设备。霍华德于2007年为美国军方研发出一款具备透视显示器功能的定制HMD，这款HMD在头盔周围安装了小型眼上监视器，可承受诸如极端气候、降水和灰尘等恶劣条件。基于军事战场沙盘训练法，钟（K.Jung）等学者在2008年提出一种虚拟战术地图，虚拟战术地图操作简单，数据可存档，交互界面简单直观，成为军事模拟训练新方式。在国防军事应用领域中，虚拟现实技术使用各种计算机模拟系统执行操作，并实时演示效果，它或可重新定义现代战争。
二、教育培训
在教育培训领域，针对传统教学过程中部分课程内容难于记忆、难于实践、难于理解等问题，虚拟现实有助于提升教学质量与行业培训效果。在面向大众的教育教学方面，依托虚拟现实技术，学生通过与各种虚拟物品、复杂现象与抽象概念进行互动，得以身临其境的体验现实世界中难以实现的“实操”机会，进而激发学习热情，增强注意力水平，提升知识保留度，降低潜在安全风险。此外，虚拟现实还有助于辅助教师高效授课，释放新一代信息技术带来的创新潜力。在面向企业的技能培训方面，企业市场中VR培训在各垂直行业呈现高度定制化、情景长尾化的特点，且对VR创新应用项目的投资回报要求更为明确。例如，在面向石油化工行业的职业教育领域，易智时代依托云VR平台为石化企业员工提供设备操作演练、工艺流程模拟、安全事故还原、结构原理讲解、智能巡检、技能考核等多场景的垂直行业VR培训解决方案，旨在提高培训效果和效率。
三、医疗健康
在医疗健康领域，虚拟现实技术有助于丰富医疗教学和诊疗手段、降低治疗风险、提高设备利用率、促进高素质人才和医疗资源下沉，为医患双方创造便利条件。虚拟现实+医疗广泛用于医学教育培训、心理/精神疾病治疗、强化临床诊治、医学康复护理和远程医疗指导等业务场景。例如，心理/精神类疾病诊治中采用虚拟现实疗法可免于创建真实治疗环境，通过为患者模拟不同的环境场所，提供认知行为刺激或进行暴露疗法，刺激病患大脑中相关感应区，提供一种治疗心理精神类疾病的无药物方法；临床诊疗强化借助VR技术对患者病灶体征等进行实时模拟，可应用于临床疾病辅助诊断，如手术计划协助系统通过计算机断层扫描（CT）、磁共振（MR）、超声心动图和C型臂透视图，创建器官、血管等3D全息影像，医生可借此进行针对性的术前规划，达到更好的治疗效果；远程医疗指导通过超高清回传再现的VR/AR视频，结合反馈设备为远程支援医生提供更真实的病况，为病人提供高阶会诊服务，提高手术成功率。
四、工业制造
虚拟现实技术的进步为工业制造应用提供了发展动力，例如产品设计、虚拟车间、过程模拟、制造规划和生产培训等方面。虚拟现实技术可以在实际制造之前解决潜在设计问题，从而防止代价高昂的错误。贝尔格和万斯在2017年对18家工业产品设计和制造的公司进行调查发现，虚拟现实技术已成为重要生产工具，投资回报率高，但从头开始启动和投资虚拟现实技术还存在一定难度。利格库等认为虚拟现实技术在工业4.0中的应用使公司能够降低设计和生产成本，提升产品质量，减少从产品概念到生产所需的时间。作为工业领域领先可视化制造技术，虚拟现实技术将在工业制造应用中成为主流。工业制造公司积极采用这项新兴技术，未来工厂终极目标是成为虚拟工厂。
五、商贸会展
在商贸会展领域，虚拟现实有助于实现会展组织由以活动议程为中心向与会体验为中心的方向转变，目前业界积极探索虚拟现实在各类细分会展场景的技术实施路径与业务发展范式。从会展形式看，分为仅线上与线上线下相融合的参与方式，远程与会者可通过自拍视频前后景抠像或3D虚拟化身方式线上接入。从技术支撑看，沉浸声场成为VR/AR+会展业务的刚需技术，听音辩位、背景降噪、定向增强与空间混响有助于营造线上会议的临场感。云上会展的业务架构有助于实现虚拟现实终端瘦身，将自拍抠像、虚拟化身、环境渲染、视频融合、沉浸声场、6DoF定位追踪等计算任务向云边卸载。从场景功能看，论坛、圆桌、聚会、展览已成为虚拟现实商贸会展的重点场景。以线上线下相融合的展览为例，对于远程观众而言，通过佩戴6DoF VR头显可在不同展位间逛览，对感兴趣的展品内容凑前交流或查看细节。
六、地产营销
在地产营销领域，依托虚拟现实技术，大众可以获得房屋翔实的三维复刻体验，并根据用户偏好即时生成未来家装效果预览。VR看房方面，有别于传统2D照片与视频，VR可以更加清晰地呈现出房源的三维结构、尺度信息、整体户型、内部装修和房间细节信息，提高供需对接效率。线上VR定制装修设计方面，用户仅需提供设计效果需求，即可获得自动生成包含平面视图、硬装软装搭配、三维效果在内的全屋设计方案，用户可以在“装修”后的客厅、卧室各功能区移步换景，查看细节。用户也可按照喜好自主更改家居风格、拖拽和替换家居物品，实时渲染完成相应的装修3D效果。
七、文娱休闲
在文娱休闲领域，虚拟现实支持融合型、分享型和沉浸型数据内容与服务，有助于打造信息消费升级版，培育中高端消费领域新增长点。虚拟现实在文娱休闲中主要用于商超、旅游、社交、游戏、剧集与活动直播等应用场景。智慧商业综合体方面，2020年中国电信推出5G MEC商业综合体XR数字孪生平台，面向商家提供基于MEC的商业信息化应用，面向消费者提供虚拟导购、虚拟景观、红包探宝、虚拟化身直播等功能。智慧旅游方面，AR实景导览与VR行前预览，丰富了景点的游览方式，营造沉浸式的互动体验。如通过将莫高窟景区文物与风景融合呈现，华为河图实现了自动识物的自助讲解、文物复原、场景再现等功能。线上社交方面，虚拟现实通过手势识别、虚拟化身、表情识别等更加个性化、更具表现力、日益丰富沉浸的互动形式，突破了传统线上社交的体验瓶颈。2020年脸书启动VR社交平台Horizon试运营，用户可利用Grant等创作工具自行构建可与他人共享的虚拟世界互动体验。VR游戏方面，成熟的受众群体以及玩家对于新技术的积极态度使得虚拟现实游戏成为文娱休闲的市场重点。Valve推出的VR游戏《半条命：艾利克斯》成为2020年VR游戏爆款，为STEAM VR平台新增发展百万用户。剧集视频及活动直播方面，VR巨幕影院、360 3D视频等媒体形式突破屏幕尺寸和空间位置的限制，为用户提供影视作品、综艺节目、体育赛事、风景名胜等内容题材，并引入社交互动元素，给用户带来新的观赏体验。（《虚拟（增强）现实白皮书2021》等）
5G技术与虚拟现实技术的有机融合
5G网络峰值速率快，达到10Gbit/s。虚拟现实是一种全新的人机交互方式，将5G技术和虚拟现实技术有效的融合可以广泛应用于游戏、教育、虚拟设计、医疗、艺术等行业。优化后的虚拟现实技术可以摆脱传统虚拟现实的头盔显示器、数据衣服、数据手套等常用交互设备上的空间传感器，与自然环境中真实的具有物理属性的虚拟模型进行交流，实现更自然、和谐的人机界面。
5G采用的超密集异构网络通过提高小基站密度，使网络节点离设备终端更近，可有效应对大量用户在服务端随机操作带来的网络环境动态变化，真正满足大规模用户实时强互动所需要的计算和传输能力。VR业务所涉及的全景视频、立体3D、高分辨率画质等对网络传输速度和带宽提出了较高要求，而解决这些问题正是5G的强项。如大规模MIMO 技术通过增加天线数量，大幅度提升多用户无线接入系统的效率。
VR/AR中的语音识别、视线跟踪、手势感应和传感器套件等都需要低延时处理，这是实现流畅的人机交互和减少晕眩感的必要前提。5G技术与虚拟现实技术融合应用，将在消除时延眩晕、云端渲染等方面全面提升虚拟现实技术的用户体验。5G技术的高宽带、低时延特性将极大改善VR游戏的体验，使VR游戏更逼真，让VR走上云端、VR直播和VR影视能够实现身临其境的感觉。例如，中央广播电视台首次用“5G+VR”技术对2019年央视春晚进行实时直播；售楼、看房、展会可以通过VR沉浸式体验实现；VR购物足不出户就能轻松逛街。5G+VR+旅游让大众足不出户也能观看千里之外的风景，5G技术、虚拟现实技术和旅游业的充分融合，将成为未来旅行观光和文化导览的重要发展方向，塑造全新的旅游观光体验。通过运用5G技术低时延、高可靠的特点，远程控制无人机的起飞、转向、悬停、降落将依靠手势就能精确的完成，同时借助5G带宽大、速率高的特性，无人机拍摄的全息影像数据可实时回传到地面，带给人们立体360°的沉浸式体验。在5G技术和虚拟现实技术的融合下，医生能够通过辅助工具——“头盔”、“眼镜”及空间传感器，无论何时何地都能“亲临”手术现场，远程操控医生的手术动作通过传感器被现场感知并同步复制，手术现场的机械手通过接收感应进行手术操作，例如深圳市人民医院借助5G技术完成了我国首例5G+AR（增强现实）/MR（混合现实）远程肝胆外科手术。（《5G技术与虚拟现实技术的有机融合》）
文件下载：
关联文件：
广西信息中心网站
