新闻资讯

原来AR+3D技术还能这样玩!9种AR/VR人机互动的原理解读来了,

现在的世界，如果你看到一个人带着面罩，手上拿着一个工具在挥动着手，你也不要感到惊讶，他们只是在创作，在绘画！没错，他们是透过VR虚拟实景来作画！以前在白纸或画布上作画，或者透过photoshop或AI软件来设计图 看来已经过时了，艺术创作者如今可以透过VR在立体空间里自由作画，创作空间顿时从平面的2D转换成3D，整个层次都不一样了。

虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。

用沉浸式VR，不仅带入感强，还有高度的沉浸感，良好的交互手段，可以融合视觉、触觉、声音等。学生可通过手里的笔刷和工具的帮助，画出学生们自己想象的画面。对于学生而言，大概没有什么比“走进”绘画场景，体验一场身临其境的创作体验更加刺激的了，学生通过场景可选择自己喜欢的名画，如梵高的《星空》、张择端《清明上河图》、达利的《米勒<晚祷>之考古学回忆》、步鲁盖尔的《反叛天使的堕落》等等。

虚拟现实技术（VR）主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

通过VR桌面交互系统调取编辑好的课件内容，师生可通过硬件设备在构建的虚拟、可交互教学环境中进行沉浸式学习，实现多屏同步教学与多人协同实训。形成了一个以教师、学生、知识为闭环的结构体。学生通过对“逻辑的”、“教学的”或“过程的”模拟，在最大程度上反应客观世界知识体系，演示出真实的知识场景，启发和引导学生的动手能力、鼓励学生通过知识大胆设计、敢于创新，轻松便捷的在虚拟系统中不断完善自己的创意和发明。

增强现实（Augmented Reality，简称AR），也被称为扩增现实（中国台湾地区）。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息，声音，味道，触觉等），通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

2D 到 3D 的转变

10 年前，乔布斯带来了全触控屏幕的第一代 iPhone，一句“You can touch your music！”生动形象地描述了这一开创性的交互方式——多点触控。我们的生活中也开始被各种电子屏幕包围，比如智能手机、平板电脑以及各种穿戴式设备，它们呈现着丰富多彩的信息。很多设计师的日常，也是跟一块一块屏幕“打交道”，用图像、色彩、文字等构建出各种样式的界面，所有信息都被井井有条地排布在屏幕内。

人与机器存在天生的隔阂，图形用户界面和交互方式的不断革新正让这个隔阂变得越来越小，但始终未能打破这层隔阂，哪怕是 iPhone。而直到 AR 眼镜（头盔）出现之后，这些内容才有了“跨越”屏幕的可能，并跟真实的世界“融为一体”。人机交互界面，也开始从 2D 向 3D 跨越。（这里的“3D”不是指 3D 模型，而是整个三维空间。）

3D 化思维

很多事情往往都是说起来容易做起来难，即使我反复提醒自己是基于 3D 来设计界面，但在日常工作中还是会掉入 2D 的“坑”。也许是深受 2D 界面设计的影响，我在纸上绘制原型时必定先绘制一个方框作为 AR 眼镜的 FOV（Field of View，可视区域），就好像设计手机应用时必须先画一个屏幕一样。而这样的设计方式很容易变得像在设计单纯的手机应用一样，在真机的上验证结果也很不理想。

3D 界面有着区别于 2D 界面特殊的属性，所以在设计上需要考虑更多，包括但不限于以下内容：

交互空间：空间大小、平面类型、遮挡关系

输入方式：语音、手势、控制器、外部传感器

呈现信息类型：3D模型、图片、2D界面

音效：空间音效、界面反馈音效

信息与环境的融合方式：无中生有、真实物体与虚拟信息叠加、遮挡真实环境

1.动作捕捉

用户想要获得完全的沉浸感，真正“进入”虚拟世界，动作捕捉系统是必须的。目前专门针对VR的动捕系统，目前市面上可参考的有 PercepTIon Neuron，其他的要么是昂贵的商用级设备，要么完全是雾件（意为在开发完成前就开始进行宣传的产品，也许宣传的产品根本就不会问世）。但是这样的动作捕捉设备只会在特定的超重度的场景中使用，因为其有固有的易用性门槛，需要用户花费比较长的时间穿戴和校准才能够使用。相比之下，Kinect这样的光学设备在某些对于精度要求不高的场景可能也会被应用。

全身动捕在很多场合并不是必须的，它的另一个问题，在于没有反馈，用户很难感觉到自己的操作是有效的，这也是交互设计的一大痛点。

2.触觉反馈

这里主要是按钮和震动反馈，这就是下面要提到的一大类，虚拟现实手柄。目前三大VR头显厂商Oculus、索尼、HTC Valve都不约而同的采用了虚拟现实手柄作为标准的交互模式：两手分立的、6个自由度空间跟踪的（3个转动自由度3个平移自由度），带按钮和震动反馈的手柄。这样的设备显然是用来进行一些高度特化的游戏类应用的（以及轻度的消费应用），这也可以视作一种商业策略，因为VR头显的早期消费者应该基本是游戏玩家。

但是，这样高度特化/简化的交互设备的优势显然是能够非常自如地在诸如游戏等应用中使用，但是它无法适应更加广泛的应用场景。

3 .眼球追踪

提起VR领域最重要的技术，眼球追踪技术绝对值得被从业者们密切关注。Oculus创始人帕尔默•拉奇就曾称其为“VR的心脏”，因为它对于人眼位置的检测，能够为当前所处视角提供最佳的3D效果，使VR头显呈现出的图像更自然，延迟更小，这都能大大增加可玩性。同时，由于眼球追踪技术可以获知人眼的真实注视点，从而得到虚拟物体上视点位置的景深。所以，眼球追踪技术被大部分VR从业者认为将成为解决虚拟现实头盔眩晕病问题的一个重要技术突破。但是，尽管众多公司都在研究眼球追踪技术，但仍然没有一家的解决方案令人满意。

超多维SuperD公司图形图像算法中心主管培云认为，VR的眼球追踪可利用类似tobii眼动仪的设备实现，但前提是解决设备的体积和功耗。事实上，在业内人看来，从眼球追踪技术本身来说，虽然在VR上有一些限制，但可行性还是比较高的，比如外接电源、将VR的结构设计做的更大等。但更大的挑战在与通过调整图像来适应眼球的移动，这些图像调整的算法目前来说都是空白的。有两个指标，一是图像自然真实，二是快速延迟小。这对VR+眼球追踪提出了更高的要求，如果达到这两点，VR的可玩性会再提高一个档次。

4.肌电模拟

关于这个我们通过一个VR拳击设备Impacto来说明，Impacto结合了触觉反馈和肌肉电刺激精确模拟实际感觉。具体来说，Impacto设备分为两部分。一部分是震动马达，能产生震动感，这个在一般的游戏手柄中可以体验到；另外一部分，也是最有意义的部分，是肌肉电刺激系统，通过电流刺激肌肉收缩运动。两者的结合能够给人们带来一种错觉，误以为自己击中了游戏中的对手，因为这个设备会在恰当的时候产生类似真正拳击的“冲击感”。

然而，业内人士对于这个项目有些争议，目前的生物技术水平无法利用肌肉电刺激来高度模拟实际感觉。即使采用这种方式，以目前的技术能实现的也是比较粗糙的感觉，这种感觉对于追求沉浸感的VR也没有太多用处，“还不如震动马达”。还有一位从事疼痛缓解理疗仪的朋友表示，利用肌肉电刺激来模拟真实感觉需要克服的问题有很多，因为神经通道是一个精巧而复杂的结构，从外部皮肤刺激是不太可能的，但是“随便”电刺激一下让肌肉运动以当做反馈是可以的。

5 .手势跟踪

使用手势跟踪作为交互可以分为两种方式：第一种是使用光学跟踪，比如Leap MoTIon和NimbleVR这样的深度传感器，第二种是将传感器戴在手上的数据手套。

光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备，未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但是其缺点在于视场受局限，以及我们之前所提到的两个基本问题：需要用户付出脑力和体力才能实现的交互是不会成功的，使用手势跟踪会比较累而且不直观，没有反馈。这需要良好的交互设计才能弥补。

数据手套，一般在手套上集成了惯性传感器来跟踪用户的手指乃至整个手臂的运动。它的优势在于没有视场限制，而且完全可以在设备上集成反馈机制（比如震动，按钮和触摸）。它的缺陷在于使用门槛较高：用户需要穿脱设备，而且作为一个外设其使用场景还是受局限：就好比说在很多移动场景中不太可能使用鼠标。不过这些问题都没有技术上的绝对门槛，完全可以想象类似于指环这样的高度集成和简化的数据手套在未来的VR产业中出现，用户可以随身携带随时使用。

这两种方式各有优劣，可以想见在未来这两种手势跟踪在很长一段时间会并存，用户在不同的场景（以及不同的偏好）使用不同的跟踪方式。

6.方向追踪

方向追踪除了可以用来瞄点，还可以用来控制用户在VR中的前进方向。不过，如果用方向追踪调整方向的话很可能会有转不过去的情况，因为用户不总是坐在能够360度旋转的转椅上的，可能很多情况下都会空间受限。比如头转了90度接着再转身体，加起来也很难转过180度……所以，这里“空间受限无法转身是一个需求”，于是交互设计师给出了解决方案——按下鼠标右键则可以让方向回到原始的正视方向或者叫做重置当前凝视的方向（就是你最初始时候面向的那个方向），或者可以通过摇杆调整方向，或按下按钮回到初始位置。

但问题还是存在的，以用户面朝的方向作为行走方向比起键鼠和gamepad，转向和视觉相匹配极大地增强了沉浸感，但是却有可能玩得很累，削弱了舒适性。

7.语音交互

在VR中海量的信息淹没了用户，他不会理会视觉中心的指示文字，而是环顾四周不断发现和探索。如果这时给出一些图形上的指示还会干扰到他们在VR中的沉浸式体验，所以最好的方法就是使用语音，和他们正在观察的周遭世界互不干扰。这时如果用户和VR世界进行语音交互，会更加自然，而且它是无处不在无时不有的，用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。

8 .传感器

传感器能够帮助人们与多维的VR信息环境进行自然地交互。比如，人们进入虚拟世界不仅仅是想坐在那里，他们也希望能够在虚拟世界中到处走走看看，比如万向跑步机，目前Virtuix，Cyberith和国内的KAT都在研发这种产品。然而体验过的人都反应过，这样的跑步机实际上并不能够提供接近于真实移动的感觉，目前体验并不好。还有的想法是使用脚上的惯性传感器使用原地走代替前进，比如StompzVR。还比如全身VR套装Teslasuit，戴上这套装备，可以切身感觉到虚拟现实环境的变化，比如可感受到微风的吹佛，甚至是射击游戏中还能感受到中弹的感觉。

这些都是由设备上的各种传感器产生的，比如智能感应环、温度传感器、光敏传感器、压力传感器、视觉传感器等，能够通过脉冲电流让皮肤产生相应的感觉，或是把游戏中触觉、嗅觉等各种感知传送到大脑。但是，目前已有的应用传感器的设备体验度都不高，在技术上还需要做出很多突破。

9.一个真实场地

就是造出一个与虚拟世界的墙壁、阻挡和边界等完全一致的可自由移动的真实场地，比如超重度交互的虚拟现实主题公园The Void就采用了这种途径，它是一个混合现实型的体验，把虚拟世界构建在物理世界之上，让使用者能够感觉到周围的物体并使用真实的道具，比如手提灯、剑、枪等，中国媒体称之为“地表最强娱乐设施”。

这种真实场地通过仔细的规划关卡和场景设计就能够给用户带来种种外设所不能带来的良好体验。但规模及投入较大，且只能适用于特定的虚拟场景，在场景应用的广泛性上受限。

结束语

虚拟现实是一场交互方式的新革命，人们正在实现由界面到空间的交互方式变迁。未来多通道的交互将是VR时代的主流交互形态，目前，VR交互的输入方式尚未统一，市面上的各种交互设备仍存在各自的不足。

业内专家表示，短期内VR发展仍靠技术红利推动，交互技术将成关键。同时，在硬件性能趋同的背景下，交互技术将构成差异化竞争力。在产业链方面，“交互算法是关键，下游应用空间广”，整个输入设备产业链主要由上游的元器件生产商（主要以传感器、芯片生产商为主），中游的输入设备制造商、交互方案提供商组成，下游则以游戏、影视、主题公园及其他企业级应用为主。他们表示，未来传感器的供应问题将在国外厂商授权部分国内厂商生产等因素下得到部分解决，届时具备领先自主算法技术的交互解决方案提供商将日趋重要。