新闻资讯

漫谈混合现实(MR)技术之一 ——什么是混合现实(MR)技术

2018年，一部口碑炸裂的电影《头号玩家》上映，国内累计票房达到13.85亿。而电影中的虚拟世界“绿洲”俨然已成为与现实世界平起平坐的另一个世界，在给观众视觉震撼的同时，也为观众们带来了一次混合现实(MR)技术的科普和未来的遐想。

一、什么是混合现实（MR）

MR，是英文Mixed Reality两个单词的缩写，中文翻译为混合现实。混合现实技术通过在在现实环境中引入虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感，具有真实性、实时互动性以及构想性等特点。

MR是一个快速发展的领域，广泛应用于工业、教育培训、娱乐、地产、医疗等行业，并在营销、运营、物流、服务等多个环节得到充分应用。混合现实涵盖计算机增强现实技术(AR)的范围，与人工智能(AI)和量子计算(QC)被认为三大未来将显著提高生产率和体验的科技。随着人类科技的迭代发展，尤其是5G网络和通信技术的高速发展，各行各业都将大规模应用MR技术。

二、虚拟现实（VR）、增强现实（AR）及混合现实（MR）三者关系及区别

虚拟现实技术曾被认为是下一代通用技术平台和下一代互联网的入口，是引领全球新一轮产业变革的重要力量，是经济发展的新增长点，目前已经在工业、军事、医疗、航天、教育、娱乐等领域形成较为成熟的应用。据工信部消息，2021年我国虚拟现实市场规模预计将达544.5亿元。国内通称的虚拟现实产业包括了VR虚拟现实、AR增强现实、MR混合现实等技术及其产业应用，但此处我们讲虚拟现实时仅指VR虚拟显示。

虚拟现实(Virtual Reality，VR)是利用VR设备模拟产生一个三维的虚拟空间，提供视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般。简而言之，就是“无中生有”。在VR中，用户只能体验到虚拟世界，无法看到真实环境。增强现实(Augmented Reality，AR)是VR技术的延伸，能够把计算机生成的虚拟信息(物体、图片、视频、声音、系统提示信息等)叠加到真实场景中并与人实现互动。简而言之，就是“锦上添花”。在AR中，用户既能看到真实世界，又能看到虚拟事物。混合现实(Mixed Reality，MR)是AR技术的升级，将虚拟世界和真实世界合成一个无缝衔接的虚实融合世界，其中的物理实体和数字对象满足真实的三维投影关系。简而言之，就是“实幻交织”。在MR中，用户难以分辨真实世界与虚拟世界的边界。

三、MR技术发展现状

MR行业经过这几年的调整，跨过爆发期，进入调整期，存优除劣，逐步完善。

在国际上，美国多部门部署VR研发计划，美国政府一直非常重视VR技术的研发与应用，国家科学基金会、国防部、国家航空航天局、交通部等部门均部署了一系列虚拟现实研发计划。在欧洲，欧盟H2020计划也开展了多项虚拟现实研究，主要研究方向涵盖虚拟现实硬件技术、虚拟现实软件技术、虚拟现实行业应用等，具体行业应用领域包括军事、国防、医疗、教育、房地产、体育、文化遗产等领域。

同时，MR技术所涉及的应用领域也在逐渐增加，MR技术与传统行业的结合，如MR+教育、MR+金融、MR+工业等等，也已经拥有了诸多成功的落地场景。

而在国内，经过近十年发展，我国的AR/MR产业已经日趋成熟，形成了包括江西地区在内的五大AR/MR核心产业聚集区，产业生态初步形成。目前，全国共有VR/AR/MR企业3000余家，上海市目前直接从事VR/AR/MR业务的企业约200余家，1000万以上的注册资金在总比例当中占比约33%，加上间接从事或相关企业超300家。近3年来，上海VR/AR/MR新增企业数量已经超过历史注册的企业数量总和。

四、混合现实(MR)应用场景

MR技术作为一种通用性技术，在很多行业内都能找到应用场景的结合点。基于混合现实技术的全息展示和空间定位等特性，目前在工业、设计、展览、建筑、医疗、教育等行业中都具有显著的业务需求。在这些行业中，已经涌现出了不少成功的混合现实应用案例。

（一）工业应用

工业是目前对于混合现实技术需求最强烈的行业。随着工业4.0、智能制造等概念的推广，越来越多的企业开始寻求智能化的工业升级技术，希望以技术赋能产业，为企业创造新的价值。在这个过程中，混合现实技术因其可以与真实环境、真实物体进行良好结合的特性，逐渐被大家所接受，并成为提升生产力的重要工具。

MR技术可以在日常工作的真实环境中为工人提供他们最为需要的信息，包括岗位操作培训、设备维护手册、IoT数据展示，以及远程专家指导等等。员工在使用头戴式MR眼镜的时候，完全不影响他们对身边真实环境的观察，并能解放出双手进行操作。

以下是一个典型的工业应用场景：

工作人员戴上MR眼镜在生产环境中进行巡检，其眼前的机器设备上会自动浮现出该设备当前的运行数据;

巡检员如果发现异常，可以通过眼镜进行情况记录，并完成问题上报;

随后，他可以根据故障信息调取相关问题的处置方案或全息维修指导手册，设备的维修指导信息会一步一步地呈现在他的面前，并准确地指出每个步骤操作的具体位置。

如果全息维修指导手册没办法帮他解决问题，他可以马上通过眼镜呼叫远程的技术专家;

专家通过分析眼镜端捕捉的画面后，为现场员工提供精确的专业指导，协助完成问题的处置。

在整个流程中，生产环境现场的员工仅需一副MR眼镜就可实现所有的功能。

（二）展览应用

在混合现实技术刚出现的时候，最多的应用场景就是展览和展示。在当时，对于所有人来说，MR绝对是酷炫和黑科技的代名词。用黑科技来展示自家的产品，或用来宣传企业形象绝对是一个不错的选择。从功能上讲，MR技术应用于展览行业的最大优势是交互式的全息可视化内容所能带给观众的冲击，这是一种类似科幻影片走进现实的震撼感受。MR技术非常适合展示体积庞大、结构复杂、精密昂贵的产品，这些产品不便于携带和拆解，很难让观众看到实物，或者了解其内部结构。通过混合现实技术为这些产品制作3D全息化的内容，就可以非常方便地在任何地方、任何场合展示产品的细节。

此外，在传统展台上经常会使用各种实物沙盘，用于展示城市规划、园区设计或建筑方案，但这些实物沙盘通常是静态的，无法产生大量动态内容。基于MR的虚实结合功能，我们可以将实物沙盘升级为混合现实沙盘，参观者通过混合现实眼镜将能看到建筑的施工过程、3D交通工具的穿行效果、目标对象的详细介绍等。各种各样丰富有趣的可视化内容可以让静态的沙盘动起来。

（三）建筑应用

建筑业是由空间定义的。最近几年从2D文档到建筑信息模型(BIM)的过渡是一个自然的演变，BIM不仅能提供精确的建筑信息，还能在施工过程中提供有效的参考。但是大部分情况下，我们仍然只能在2D的电脑屏幕上查看相关的内容。MR技术将模型带出屏幕，可以让建筑的3D模型跃然纸上，并为用户提供了透视、分层、局部放大等更直观的观看和交互的能力。通过全息3D化展示，让我们可以通过更自然的方式去体验和理解设计方案，使数据通俗化。

如果MR与BIM能够进行完美的结合，把“虚”的BIM数据和“实”的施工场景进行叠加对比，那我们甚至可以在建筑施工现场评估工程进度和施工精确度，这也将为建筑工程行业的智能化推进带来巨大的想象空间。

（四）医疗应用

MR技术在医疗场景中也有着广阔的发展空间，比如医生们可以在手术的过程中，通过混合现实眼镜方便地查阅病人影像资料、相关部位的3D模型等内容;也可以将病人的全息骨骼模型准确地叠加在其身体上，辅助医生完成手术定位;结合5G等远程通讯技术，还可以对手术现场进行直播，并实现远程多人会诊;在术式培训、医疗设备操作培训等业务场景中，我们也同样可以使用MR来达到优异的培训效果。

医疗影像数据可以方便地转化为3D模型，利用MR全息化地展示这些模型，可以将平面的影像立体化，并能给与医生准确的空间位置判断力。这种空间立体化的“读片”技术可以显著提升年轻医生的读片准确度，同时也方便医生将相关病情与患者或家属进行直观的沟通。

（五）教育应用

在教育行业，开发者可以根据不同的学习需求开发全息教学内容，让学生们在新奇的全息互动式体验中完成知识点的学习。这种新颖的教学方式一方面可以激发学生们的学习热情，另一方面可以把一些复杂的知识点通过交互式模型动画形象地展示出来，可以加深学生对学习内容的印象。目前来说，MR头戴式设备比较适合中学及以上年龄段的学生，对于低龄学生或学龄前儿童并不完全适用。

相对与普通学校教育，职业教育的细分领域对于MR技术的需求更为明显。职业教育主要关注在技能培训和操作能力的提高，但一些复杂操作技能，比如汽车维修，很难给与学生充足的实际上手时间。同时，在学生进行实际操作的时候也需要有人一直确保其操作准确性，以免发生人员伤害或设备毁损的情况。MR技术可以将培训教学内容虚拟化，并与教学现场的环境和实物叠加起来，通过虚实结合的方式辅助学生掌握操作方法。而且虚拟化的培训内容可以反复播放，实现学生独立学习的需求。