优化基于定位的商业虚拟现实应用的用户体验

技术进步创造了无限可能,支持人们以独特、引人入胜的方式使用实景娱乐 (LBE)。本文讨论了跟踪解决方案和其他辅助技术,它们能够显著增强任何基于定位的虚拟现实 (VR) 体验。

Art gallery with visitors
图 1.LBE 可应用于美术馆。

商业 LBE 体验可以应用于游乐园、主题景点、4D 电影、大型游乐场和多人互动游戏(见图 1)。

An arcade
图 2.LBE 可应用于游乐场。

LBE 体验甚至可以改善客户在保龄球馆、台球室、水上乐园、赌场和电影院中的体验。这些商业世界的体验在规模上远远大于任何家居体验。

bowling alley
图 3.LBE 可应用于保龄球馆。

基于定位的虚拟现实 (LBVR) 是另一项激动人心的新兴技术。LBVR 可供个人使用,也可以提供社会交互体验。LBVR 为客户提供了更有价值的信息和个性化体验,有助于扩大虚拟现实的应用范围。该技术为博物馆、水族馆和学校提供了开展宣传教育的方法,还提供了丰富的信息,以加强文化与历史古迹的保护。

shopping mall
图 4.LBE 可应用于购物中心。

沉浸式环境包括听觉、视觉和动觉交互,支持培养个人的学习兴趣,更轻松地保留信息,以及提供更具吸引力的体验(见图 5)。

stylized brain image with types of learning
图 5.LBVR 助力多种学习方式。

LBVR 向用户免费开放内容,打破地域局限,支持用户访问世界各地的声音、画面和周围环境。沉浸式体验可以让您在美国另一端的国家公园中探险,参观南美洲的农村社区,或者在海底潜水。扩大了普及终身学习的可能性,无论用户身在何处,都能探寻不同的文化,体验多样的环境,提高历史素养。沉浸式环境包含动手活动,提供了无与伦比的学习实践(见图 6)。LBVR 为学生提供了上述体验。

children with VR headsets in a classroom
图 6.学校中的虚拟现实。

本文介绍了基于系统选择的跟踪解决方案,还介绍了用于改进空间内实时跟踪能力的工具。您将了解如何从运动捕捉服装中捕捉小幅度动作,高效使用扫描功能以及使用其他辅助技术。

下文将详细介绍如何针对每台设备和个别地点来优化体验,以确保在网络的承受范围内提供优质体验。我们将探索维持基础设施、设备和软件中资源平衡的最佳方法,需要考虑 LBVR 解决方案的成本、优势和复杂性。目前,实际实施的用例展示了维持该平衡的几种方法。您还会预览在不久的未来重塑 LBVR 的多项技术。

基于定位的虚拟现实中的跟踪解决方案

基于定位的虚拟现实包含大量技术和跟踪类型。某些大型系统使用自己的专业跟踪系统,这些系统基于动作捕捉或类似技术。小型系统使用更标准的方法,如 Oculus Rift* 的视觉跟踪或 HTC Vive* 的飞行时间跟踪。

VOID*(拥有 17 个定位的 LBVR 特许加盟)使用动作跟踪、触觉反馈和特效来生成特定社交背景下的交互式虚拟体验。该解决方案以有趣的方式使用了多个系统,内置故障安全和故障切换机制,以打造真正丰富、独特的体验。多数系统不需要使用这种昂贵的专用硬件。截至本文发布之时,VOID 系统的成本约为 500,000 美元/定位,超过了基于定位的虚拟现实设备的平均成本(见图 7)。

the Void VR experience
图 7.VOID* 提供的 VBVR 体验。

自 2018 年年中起,不建议移动用户在相同的空间内使用多个 Oculus Rift 虚拟现实头显。每个头显需要自己的跟踪装置,每个头显发出的红外光会对空间内的其他人造成干扰(见图 8)。在大致相同的区域内设置 Oculus Rift 时,建议使用手机摄像头定位每个头显的 IR 衰减或者进行阻挡(如使用帘幕分隔系统)。

diagram of Oculus Rift tracking
图 8A.Oculus Rift* 跟踪。

相比之下,HTC Vive 头显的使用限制更少,并支持基站共享。发送至头显的信号可同时支持不同的体验和多位用户(见图 8)。这并不是说 Oculus Rift 无法应用于大规模体验,也不是说 HTC Vive 不会出问题。Oculus Rift 是一款更为经济的头显。用户坐下后,只要头显相互隔开,便能提供优于HTC Vive 的体验。这样做的难度可能远超出人们的想像。为了获得更好的效果,在复杂的环境中使用 HTC Vive 头显。

diagram of HTC Vive tracking
图 8B.HTC Vive* 跟踪。

在 LBVR 体验中跟踪用户的另一种选项是将体验与真实的物体结合起来,它的实施难度更大。例如,按比例建造一座迷宫,并支持用户使用虚拟覆盖图来穿越迷宫。为了提高逼真度,通常使用时序跟踪器。位于美国东海岸的六旗游乐园超人* 过山车采用了 Samsung Gear* VR。每辆过山车中基于时序的跟踪器可以接收来自轨道的信息,以判断过山车在轨道上的位置。每隔一段时间更新该信息可帮助过山车加速或减速。这使虚拟现实与真实世界相互交融,虚拟视觉与真实的物理体验保持同步,并创建了类似嘉年华游行的极具吸引力的虚拟现实体验,用户的结果不会改变体验模式或进度。多数现成硬件可以提供极为丰富的娱乐与教育体验(见图 9)。

roller coaster
图 9.体验虚拟现实过山车。

在较大的空间内进行实时跟踪的工具

在较大的空间内实时跟踪用户仍存在特殊的挑战性。此类体验的开发人员耗费了大量主服务器功率来不断假设用户的当前位置,预测他们的未来位置。平均而言,系统将 80% 的处理能力用于跟踪对象,其余的 20% 用于假设用户的位置。下文详细介绍了该技术,以展示如此复杂的系统中的固有问题。劣质的跟踪通常会导致用户在虚拟现实体验中迷失方向或感到眩晕,因此,正确的跟踪非常重要。

在 VOID 中,用户穿上特制的服装,后者可以被可见与不可见的跟踪设备追踪到。可见的跟踪设备看起来像主节点上的小乒乓球。不可见的传感器包括嵌入服装的小型加速度计和陀螺仪。例如,用户举起自己的手臂,便能触发摄像头使用跟踪器检测腕部、肘部和肩部的移动。然后,跟踪器根据线索(包括大小和可见光强,通常是跟踪器反射的红外线或近红外线)的数量计算手臂的位置。同时,用户的服装通过不可见的嵌入式传感器检测到相同的移动。这些传感器检测到手臂抬起,手腕转动,以及肘部和肩膀小幅度转动。加速度计检测到手腕的速度最快,帮助确定了手臂正围绕肩关节转动。然后,该信息被传输至主服务器,后者将玩家角色移动至正确的位置和定位。使用这两项技术增强了玩家的体验。

如果在相同大小的房间内使用单个跟踪系统,不同的因素会使其有效性变得难以预测。首先,评估房间深度与确定用户在 3D 空间内的位置有一定难度。在仅限视觉的系统中,基于跟踪器数据做出了一系列假设。即使某一个点被切断,仍显示手臂向后伸,而非向前伸。动作捕捉数据较差时,通常出现这种情况。更坏的情况是不良数据导致用户的头伸出一英尺左右。这不仅会影响游戏的可玩性和欣赏性,还会引发晕动症。

从另一个角度来看,服装解决方案通常不会出现屏幕闪动的问题,因为它利用了陀螺仪与加速度计数据。但是,服装的精度并不是最高的,通常凭推测判断用户在 3D 空间中的位置。为了阐明这一点,简单介绍一下这两种技术如何相互协调。例如,用户向前迈步,视觉跟踪器发现她前进了 5 英尺。系统还会检测服装中加速度计的数据。如果这两个传感器未提供相同的信息,系统将得出用户已经远距传动的结论。在大多数情况下,可以使用确定性模型在系统内解决该问题,在引入可能引起更多问题的假设之前,让系统处理现有的数据始终是一种相对简单的方法。

由于可能出现遮挡,最好采用双重跟踪系统。以多位玩家穿过门口为例。由于门口完全是数字化的,多位玩家在狭小空间内排成一列将遮挡某些摄像头。尽管视觉系统能够通过其他用户的服装或以倾斜视角监控空间,但是它只能跟踪可见的用户。在这种情况下,视觉系统几乎完全丧失了绘制多位用户躯干部分多个跟踪点的能力。加速度计和陀螺仪在此时不受丝毫影响,将提供故障安全跟踪。

其他解决方案提供了不同的方法。Samsung Gear VR 头显可在数毫秒内保持相互同步,以提供共享的观看体验。该版本的最佳展示来自 Bigscreen 公司。最近,它们创建了面向多个平台的解决方案,包括 Oculus Rift、HTC Vive 和 Windows* Mixed Reality。它们的最新产品 Alpha* 支持用户在同一个房间内共享虚拟现实视频。这将增强之前的 4D 体验,后者包含 3D 视频(戴上 3D 眼镜的观赏效果最佳)和外部刺激,如模拟的风、火、雨或其他元素,在体验的关键时刻呈现给观众。这为数字媒体增加了物理维度。

cinema storefront
图 10a.在大屏幕上体验虚拟现实摄像头。

为虚拟现实添加额外的功能将丰富沉浸式体验,包括利用杏仁体、激发战斗或逃跑反应、控制前庭系统等。任何影响我们在环境中的存在形式、改变平衡,同时遮挡视线的设备都能将沉浸式 4D 体验提升至全新的水平(见图 10)。如果不考虑美观,这种设备不需要隐藏发光组件。设想一下在购物亭中畅享 4D 体验,操作员拿着喷枪向您喷射,或用吹风机吹您的脸。它还使嗅觉触发器(气味)发挥更大的作用,因为消散时间变短以及消散量受限。这创建了一个能够改进用户体验的强大系统。

movie theater screening room
图 10b.在大屏幕上体验虚拟现实电影。

互联共享体验

在一个空间内容纳一位玩家具有一定的挑战性,添加第二个或更多玩家使情况变得更复杂,如多根线缆会妨碍用户。英特尔与几家不同的背包电脑公司合作创建了几款解决方案,解决了许多问题。这些电脑完全独立,MSI VR One* 等电脑(见图 11)还拥有内置 HTC Vive 接线盒,可以直接连接 HTC Vive 头显。之前采用了连接系统的二级接线盒,但是它引发了线缆长度、脆弱性等问题,这是因为线缆盒有时会松动。一体化解决方案创建了更好的体验。但是,即便具备了这些功能,创建有效的互联体验比人们想像中更难。

msi vr one backpack
图 11.The MSI VR One* 背包

为了创建身临其境般的虚幻场景,有时需要通过多个数据点对用户进行跟踪,如在玩家互动时。这些数据点可以像使用控制器一样简单,旨在提供反向运动学解决方案。这意味着通过锁定手来决定身体移动,然后改变手腕的位置,移动肘部、手臂、肩部等。复位控制器生成了面向网格模型的系统更新,创建了非常可信的角色。

Mindshow* VR 广泛采用了该方法(见图 12)。Mindshow 创建了支持多人处于同一空间的网络共享体验。更激烈的类别(如第一人称射击游戏)是另一个方面。在这些游戏中,用户所持的枪底部的偏航角、俯仰角和翻滚角需要每秒更新数次,以确保出色的游戏画质。许多此类游戏均提供了沉浸式体验,这是接下来要面临的挑战。增加互动最简单的方法是提高粒度,更深入地了解所有动作,以精确地跟踪角色。通常会增加对手、腕部、肘部、肩部、头、臀部、胸部、脚、踝关节、膝盖等的跟踪。因此,如果一个角色对另一个角色可见,实际数据的更新时间至少为每秒 15 帧 (FPS),预测数据需要额外 45 FPS,以提供最佳视觉质量。如果玩家直接连接到服务器,他将有 67 毫秒 (ms) 的时间来更新每个角色。出现的另一个问题是网络延迟。平均 Wi-Fi 连接速度非常慢,不是吞吐量,而是往返时间。平均而言,往返时间约为 15 毫秒,更新时间为 52 毫秒。

screenshot of game
图 12.Mindshow* VR

虚拟现实体验头显的平均更新时间为 90 FPS(或 11.1 毫秒),这项任务似乎比跟踪动作要简单,但是面临另一项挑战。Wi-Fi 会遇到抖动这样的问题。发生抖动时,最终用户和服务器之间的连接非常短暂,约为 2–3 毫秒,在其他情况下为数百毫秒。显然,如果故障安全未到位,这会引起很大的问题,包括但不限于用户发生碰撞。预测性解决方案是确保体验满足高端交互式媒体的品质要求的唯一方法。图 13 显示了应对网络挑战的成本和难度系数。

diagram
图 13:虚拟现实中的网络挑战。

如何构建多用户虚拟现实体验

许多挑战会影响多用户体验,但是一些技巧和建议有助于改进交互式体验。使用以太网连接系统是避免网络延迟问题的最简单的方法之一。新计算单元的全新系列 - 英特尔® NUC 4 × 4 英寸 mini PC 提供了面向小外形 (SFF) 连接的可靠平台,同时经济高效地满足了要求严苛的交互式虚拟现实体验的所有要求。对于房地产即将成为稀缺资源的区域,配备 SFF 计算机实际上大有裨益。您可以将英特尔 NUC 放置在天花板上,从上面引出电缆,减少了对保护系统的需求,后者在其他电脑设置中较常见。这带来了更舒适的游戏体验。电缆从上方(而不是下方)引入时,不会严重拖拽用户,从而改进了头显的舒适度。重量的减轻也能帮助用户更好地沉浸于周围环境中。

多房间配置是最有效的沉浸式多用户虚拟现实体验之一,如新闻博物馆中的柏林墙虚拟现实,如图 14 所示。该环境受同一房间内由帘幕隔开的多个 HTC Vive 系统的支持。这样每位用户均拥有自己的专属空间,但是多位用户可以同时享受相同的沉浸式体验,其他效果也被添加至该体验。这提供了双重优势:模块化和可扩展性以及极具沉浸感的体验。

Berlin wall section in museum
图 14.新闻博物馆中的柏林墙虚拟现实体验。

当前用例

除了之前讨论的项目之外,最近出现了大量的其他系统。虚拟现实体验馆便是这样的系统,它们现在越来越广为人知。美国一共开设了 1,000 多家虚拟现实体验馆,它们使用现成的系统成功地吸引了不想投资此系统或不确定哪一款系统最适合自己的用户。尽管虚拟现实头显的价格下降了,但是显卡的成本上升了,而显卡是虚拟现实电脑的主要开支,显卡价格的上涨是由风靡一时的加密货币所引起的,因为后者也使用显卡。虚拟现实体验馆的商业模式为客户提供了先试后买的机会。由于多数体验馆提供餐饮服务,因此,它是一个适合社交的场所,并且能吸引客户了解虚拟现实文化。

虚拟现实很少被讨论的另一个属性便是客户对技术的采用。虽然本文的重点和目标是 LBE,但是越来越多的客户采用虚拟现实技术为 LBE 本身带来了更多机会,包括独家内容或商业上不可行的内容,以及教育设施和景点中的应用。上世纪 90 年代末,多数博物馆提供虚拟现实体验,但是随着客户采用率的下降,人们逐渐对使用该设备失去了兴致。

An arcade
图 15:虚拟现实体验馆。

Two Bit Circus Foundation 公司以富有想象力的设计和丰富多彩的项目而著称,他们已经创建了几个典型的 LBE 项目,包括他们自己的 Steam* 嘉年华和与其他工作室合作推出的沉浸式体验。他们在 2017 年加利福尼亚视觉峰会上推出了不同的体验,包括 Verizon Full Throttle* 印地赛车体验和 Piñata Party*。他们的 piñata 游戏使用棒球棒和 HTC Vive 追踪器来提供触觉和虚拟现实体验,在该体验中,用户不仅能感受真实世界的触摸力度,还能体验由虚拟现实技术增强的视觉体验。他们的微型游乐园宇宙飞船游戏为用户开启了冒险之旅,让他们在完全虚拟现实多玩家体验中拯救宇宙。

未来的技术

鉴于推动 LBE 发展的技术正不断演变,LBE 本身也会进步。数十年前,解决这些问题需要耗费数百万美元,现在,新一轮虚拟现实、增强现实 (AR) 和混合现实 (MR) 头显与系统的革命正如火如荼地进行。随着生态系统的继续发展,开发人员、制造商和发烧友将推出创新的解决方案,以解决面临的新挑战。

开始讨论未来的技术之前,我们首先介绍一些背景知识 - 当前的创新技术示例。其中一个示例为政府节省了数百万美元:使用现成的软件和硬件来创建用于训练的飞行模拟器。在德克萨斯州奥斯汀,美国空军 (USAF) 推出了创新中心网络的最新成员 AFWERX。该项目旨在“促进创新者的沟通,加速结果的产生”,美国空军与小型企业和其他非传统厂商合作创建了创新机遇。他们花费不到 10,000 美元创建的解决方案可媲美价值数百万美元的内部系统。相比它们的同类产品,这些移动系统所需的空间也明显减少。这款模拟器比货板稍大,可在设备周围轻松移动,方便维护与连接。

全新解决方案的高级功能支持连接多台模拟器,这样,用户可以同时执行操作与加入混战。这就是创新的真正定义:打破之前的技术极限,添加其他垂直行业的众多功能。此外,这些目标是在降低开销与成本的情况下实现的。可扩展性是该系统最有效的部分:支持以即插即用的方式添加更高级的素材,更新系统,同时扩展旧模拟器的功能。LBE 演示扩展了技术的应用,使其成为更经济的解决方案包。未来十年,LBE 可能像 10 年前的视频一样无处不在。以价值数十亿美元的大型项目的技术革新(如 USAF)为例,如果将它们交给普通的开发人员,只会促进跨学科操作。

人们对 LBE 领域的期望集中在将更多机器学习、计算机视觉和触觉反馈集成至虚拟世界中。随着算法计算成本的降低,对技术的使用也在减少,之前需要超级计算机来运行这些技术。设想一下真正的沉浸式体验,您可以在玩游戏时与日常环境中的素材进行无缝地交互。很显然,这在几年内是有可能实现的。如欲获取此类项目的示例,请访问 Developer Mesh 中的真实比例的自定义环境(见图 16)。

EnVRonments
图 16.体验真实比例的自定义环境

借助这项技术,所有替代物体 - 从博物馆文物到贵重设备 - 都可以准确地呈现,无需完全复制真实物体。它们可能和加重的泡沫块差不多,虚幻场景将合为一体,以支持故事叙述。设想一下自己进入一家全新的数字博物馆,它看起来就像一间白色的房间。戴上眼镜,突然间您置身于巴黎卢浮宫内。图 17 展示了混合现实体验。

MR Experience, player with crossbow
图 17.混合现实体验。

如果用户对虚拟现实不感兴趣,在仓库或其他大型空间内体验 blank box 虚拟现实后,他的态度会有所改变。我们对视觉输入和移动的理解有了很大的进步,这使此类博物馆比真实世界中的博物馆要小得多。这意味着我们只需按下按钮,便可以在较小的区域内传播历史知识,一家本地博物馆有可能顷刻间变身为无数个不同的博物馆。我们还可以帮助保存不同的历史文物,以供研究,为后代留下珍贵的遗产。几年前,开罗博物馆遭洗劫,许多珍贵的文物下落不明。使用摄影测量法和其他扫描技术来捕捉与保留如此珍贵的物品以及数字化的展示方式将使其得到安全保存,让更多的人一睹它的风采,并且有助于使用数字对象开展深入的研究。

硬光全息图无疑是一项引领未来的技术。但是,东京大学最近宣布正在开发可触摸全息图。用户无需佩戴手套或其他设备,便可接收全息图提供的触觉反馈。前提是超声波扰乱全息图边缘周围的空间。这使用户能够从身体上感知物体的存在。这项非凡的技术距离实现商业化还需要很长的一段时间,当前的系统仅支持用户触摸相对简单的物体。

这种曾经在游戏或电影中虚构的体验将很快成为全新真实应用的一部分,它的娱乐模式将颠覆传统领域并加速其发展。从这一点看,未来的形势非常乐观,LBE 技术面临巨大的机遇,有希望摆脱专业垂直市场的孤岛,转型为与其他行业交流碰撞的模式。娱乐不仅仅是为了消遣,现在,它还可以用于培训、教育、保护等多种用途。

关于作者

Timothy Porter 是虚拟技术的先锋,也是 Underminer Studios* 首席技术官 (CTO)。他最初在视频游戏企业担任技术美工,尝试多次创业,后来在 Sony* Pictures Imageworks 担任管道技术总监。在他的职业生涯中,Tim 在多家平台上发表了 50 多篇文章。Tim 以利用领先技术中的娱乐模式作为自己的使命,他擅于启发他人畅想技术的无限可能,以及将愿景变为现实。他被英特尔公司评为 2017 年杰出创新者。

Underminer Studios 正使用虚拟现实/增强现实创建人性化的数字世界,支持用户在教育、娱乐、医疗与企业环境中畅享更吸引人的体验。他们设计了创新产品,以帮助定义人机交互的未来;结合了分析能力和可视化技术,以创建令人惊叹的应用。进一步了解他们在容积捕获领域取得的成果。

资料来源

参考图片

Для получения подробной информации о возможностях оптимизации компилятора обратитесь к нашему Уведомлению об оптимизации.
Возможность комментирования русскоязычного контента была отключена. Узнать подробнее.