Apple Vision Pro 的三个技术难题
我没有使用过 VR 和 AR 设备,对相关技术也没有很深的了解,对沉浸式体验的认知停留在上海迪士尼的飞越地平线。但最近几天看了一些网上关于 Apple Vision Pro 的宣传和分析后,确实有种未来已来的感觉。
下面说的三个难题,也是最近看的相关内容的总结。期间,我也充分意识到这件事情之困难,难怪虚拟现实的浪潮经过了好几轮,却始终未能真正普及。希望 Apple 能带着行业起飞。
一、如何实现空间交互的物理反馈?
我们经常会在科幻电影中看到在全息投影上的「空间手势交互」(区别于手机「平面手势」)的场景,但仔细想想,虚拟空间手势交互没有物理反馈(触感、阻力、震动等等),这是反直觉的,体验很差。任天堂 Switch 虽然不是 3D 设备,但有些需要肢体动作的游戏,手柄会有震动反馈,玩过的人都应该明白,这种震动反馈对游戏体验多么重要。放在 3D 空间交互,是同样的道理。
Apple Vision Pro 未能解决空间手势交互的反馈问题,它另辟蹊径,最大限度的减少手势交互,且让仅有的手势交互,尽量的符合直觉。
目前 Apple Vision Pro 演示的很多场景,仍然是平面交互,比如浏览网页、看照片、Facetime 通话等等,和 iPhone 类似,只不过这个平台悬停在虚拟空间。
平面交互无外乎选择、点击和拖拽,Apple Vision Pro 将选择操作完全交给眼睛,看到哪,哪里就被选种,不依赖手势。然后点击和拖拽,也不用抬起手对着界面,只需要手指头一些轻微的动作,比如双指捏合就是点击确认,手指左右或上下轻扫,就是滑动,如同操作手机界面一样。同时,手指上的动作对手的摆放位置没有任何要求,如果你坐着,完全可以放在膝盖上。手指上的这些交互,比较符合直觉。
手指交互的实现原理也不复杂,就是通过眼镜四周布满的摄像头捕捉用户的手势,这些摄像头的视野范围非常之广,所以你的手可以放在任何位置。
当然,如果你需要输入文字,而又不用语音,也只能在虚拟键盘上对着空气敲击。敲击虚拟键盘时,也许能提供声音和视觉(如按钮亮起)反馈,但肯定无法提供像物理键盘那样的触感。
如果涉及到 3D 界面的复杂交互,比如拼 3D 积木,大概还是得抬起手对着空气操作。没有别的办法。
长期来看,要说人们完全适应无反馈的交互,也不是没可能,只是那便不是虚拟现实的最佳形态,毕竟现实中,触感十分重要,不能丢。
更可能的发展是像三体游戏那样,未来有手套、衣服这些外设,模拟触感反馈。
二、如何对用户本人建模?
Apple Vision Pro 是全封闭的,内部是两块 4K 屏幕,双眼看到的外部环境是摄像头拍摄并实时建模渲染到屏幕上的影像,因为分析率够高(4K),渲染速度够快(据说12ms),因此仿佛肉眼直接看到外部环境一样。
因为摄像头主要集中在眼镜周边,所以只能为用户身前的环境建模,无法为用户本人以及身后的环境建模。如果只是一个人孤立的使用,这没有问题,因为眼镜的视野范围与肉眼的视野范围接近,符合直觉。
但如果两个用户异地使用眼镜,进入到同一个虚拟空间,这就有问题了。两个人需要看到彼此的全身。想象一个场景:你在试衣服,然后让外地一个朋友看看效果。Apple Vision Pro 似乎无能为力。
Apple 的发布会上,演示了 Facetime 通话,它仍然是平面视频,只不过是投射到空间而矣,这与 iPhone 的平面视频没有区别。甚至还不如 iPhone 的平面视频效果。因为 iPhone 的平面视频,是前置摄像头直接拍摄的,而 Apple Vision Pro 因为无法拍摄面部,是通过 AI 建模虚拟出用户的形象。Apple 称这套虚拟人像建模技术为「EyeSight」。
我觉得,Apple Vision Pro 无法为用户自身,尤其是无法为用户面部表情建模,导致任何需要多用户面对面交互的场景,都做不到逼真的还原,大大制约了它的应用场景的想象空间。
与 Facetime 类似,再比如会议场景,远程办公的同事集中到一个虚拟会议室开会,在这个会议室中可以有一个共同的白板,可以有一个圆桌,大家围坐着,但大家的形像做不到足够的逼真,尤其是面部表情,也就无法难获得像线下面对面开会一样的体验。
当然,没有外人在的 3D 场景,它是百分百胜任的,最简单的是「看」3D 电影,复杂点带交互的,比如:
- Lego 应该马上得为它开发一个积木游戏,能获得类似真实世界拼 Lego 一样的体验。
- 各种 3D 设计软件一定要赶紧跟上,建筑设计师不再需要在平面显示器上拖动视角,而能直接在 3D 场景下进行设计。
三、体积和重量?
这个没啥好细说的,Apple Vision Pro 的选择是,把电池分离出来。不够优雅,但也没有更好的办法。
当然还有其它的技术难题,比如对外部环境实时的高保真的建模渲染。这一点,得益于 Apple 过硬的硬件实力(尤其是芯片开发实力)以及软硬件一体的路线选择,再加上不惜成本的堆料,被很好的解决了。至少是目前各种虚拟现实设备中,做的最好的。
在现有功能体验上,如果足够轻量、足够便宜,估计得卖爆。这也说明,现在的功能体验,已经达到消费级了。随着技术进步,体积、重量和价格,也会慢慢降下来,所以这玩意成为大众消费品,或许不会太远。
Ref
看了不少,但印象最深刻的还是下面这三个:
虽然很牛逼,但是不知道为什么就是有一种想等下一代的感觉。。。总觉得技术没有牛逼到“哇,我必须得整一套”的想法,看来VR AR MR这些技术虽然一直在发展,但是没到magic leap最开始那条跃起的鲸鱼那么震撼到我。。。
希望总有一天这个VR眼镜真的能像眼镜一样轻便好用吧~
其实没有新技术,都是整合,只是它的完成度更高。
此类产品的宣传片看起来都差不多,目前看一些消息,似乎只有它把宣传片里的效果高保真的做出来了。其它产品相对就粗糙很多。
目前还看不到刚需场景,而且是真的有些贵,同观望中。
你没买一个试试啊?
明年初发售。