Apple Vision Pro 的三个技术难题
我没有使用过 VR 和 AR 设备，对相关技术也没有很深的了解，对沉浸式体验的认知停留在上海迪士尼的飞越地平线。但最近几天看了一些网上关于 Apple Vision Pro 的宣传和分析后，确实有种未来已来的感觉。
下面说的三个难题，也是最近看的相关内容的总结。期间，我也充分意识到这件事情之困难，难怪虚拟现实的浪潮经过了好几轮，却始终未能真正普及。希望 Apple 能带着行业起飞。
一、如何实现空间交互的物理反馈？
我们经常会在科幻电影中看到在全息投影上的「空间手势交互」（区别于手机「平面手势」）的场景，但仔细想想，虚拟空间手势交互没有物理反馈（触感、阻力、震动等等），这是反直觉的，体验很差。任天堂 Switch 虽然不是 3D 设备，但有些需要肢体动作的游戏，手柄会有震动反馈，玩过的人都应该明白，这种震动反馈对游戏体验多么重要。放在 3D 空间交互，是同样的道理。
Apple Vision Pro 未能解决空间手势交互的反馈问题，它另辟蹊径，最大限度的减少手势交互，且让仅有的手势交互，尽量的符合直觉。
目前 Apple Vision Pro 演示的很多场景，仍然是平面交互，比如浏览网页、看照片、Facetime 通话等等，和 iPhone 类似，只不过这个平台悬停在虚拟空间。
平面交互无外乎选择、点击和拖拽，Apple Vision Pro 将选择操作完全交给眼睛，看到哪，哪里就被选种，不依赖手势。然后点击和拖拽，也不用抬起手对着界面，只需要手指头一些轻微的动作，比如双指捏合就是点击确认，手指左右或上下轻扫，就是滑动，如同操作手机界面一样。同时，手指上的动作对手的摆放位置没有任何要求，如果你坐着，完全可以放在膝盖上。手指上的这些交互，比较符合直觉。
手指交互的实现原理也不复杂，就是通过眼镜四周布满的摄像头捕捉用户的手势，这些摄像头的视野范围非常之广，所以你的手可以放在任何位置。
当然，如果你需要输入文字，而又不用语音，也只能在虚拟键盘上对着空气敲击。敲击虚拟键盘时，也许能提供声音和视觉（如按钮亮起）反馈，但肯定无法提供像物理键盘那样的触感。
如果涉及到 3D 界面的复杂交互，比如拼 3D 积木，大概还是得抬起手对着空气操作。没有别的办法。
长期来看，要说人们完全适应无反馈的交互，也不是没可能，只是那便不是虚拟现实的最佳形态，毕竟现实中，触感十分重要，不能丢。
更可能的发展是像三体游戏那样，未来有手套、衣服这些外设，模拟触感反馈。
二、如何对用户本人建模？
Apple Vision Pro 是全封闭的，内部是两块 4K 屏幕，双眼看到的外部环境是摄像头拍摄并实时建模渲染到屏幕上的影像，因为分析率够高（4K），渲染速度够快（据说12ms），因此仿佛肉眼直接看到外部环境一样。
因为摄像头主要集中在眼镜周边，所以只能为用户身前的环境建模，无法为用户本人以及身后的环境建模。如果只是一个人孤立的使用，这没有问题，因为眼镜的视野范围与肉眼的视野范围接近，符合直觉。
但如果两个用户异地使用眼镜，进入到同一个虚拟空间，这就有问题了。两个人需要看到彼此的全身。想象一个场景：你在试衣服，然后让外地一个朋友看看效果。Apple Vision Pro 似乎无能为力。
Apple 的发布会上，演示了 Facetime 通话，它仍然是平面视频，只不过是投射到空间而矣，这与 iPhone 的平面视频没有区别。甚至还不如 iPhone 的平面视频效果。因为 iPhone 的平面视频，是前置摄像头直接拍摄的，而 Apple Vision Pro 因为无法拍摄面部，是通过 AI 建模虚拟出用户的形象。Apple 称这套虚拟人像建模技术为「EyeSight」。
我觉得，Apple Vision Pro 无法为用户自身，尤其是无法为用户面部表情建模，导致任何需要多用户面对面交互的场景，都做不到逼真的还原，大大制约了它的应用场景的想象空间。
与 Facetime 类似，再比如会议场景，远程办公的同事集中到一个虚拟会议室开会，在这个会议室中可以有一个共同的白板，可以有一个圆桌，大家围坐着，但大家的形像做不到足够的逼真，尤其是面部表情，也就无法难获得像线下面对面开会一样的体验。
当然，没有外人在的 3D 场景，它是百分百胜任的，最简单的是「看」3D 电影，复杂点带交互的，比如：
- Lego 应该马上得为它开发一个积木游戏，能获得类似真实世界拼 Lego 一样的体验。
- 各种 3D 设计软件一定要赶紧跟上，建筑设计师不再需要在平面显示器上拖动视角，而能直接在 3D 场景下进行设计。
三、体积和重量？
这个没啥好细说的，Apple Vision Pro 的选择是，把电池分离出来。不够优雅，但也没有更好的办法。
当然还有其它的技术难题，比如对外部环境实时的高保真的建模渲染。这一点，得益于 Apple 过硬的硬件实力（尤其是芯片开发实力）以及软硬件一体的路线选择，再加上不惜成本的堆料，被很好的解决了。至少是目前各种虚拟现实设备中，做的最好的。
在现有功能体验上，如果足够轻量、足够便宜，估计得卖爆。这也说明，现在的功能体验，已经达到消费级了。随着技术进步，体积、重量和价格，也会慢慢降下来，所以这玩意成为大众消费品，或许不会太远。
Ref
看了不少，但印象最深刻的还是下面这三个：
虽然很牛逼，但是不知道为什么就是有一种想等下一代的感觉。。。总觉得技术没有牛逼到“哇，我必须得整一套”的想法，看来VR AR MR这些技术虽然一直在发展，但是没到magic leap最开始那条跃起的鲸鱼那么震撼到我。。。
希望总有一天这个VR眼镜真的能像眼镜一样轻便好用吧~
其实没有新技术，都是整合，只是它的完成度更高。
此类产品的宣传片看起来都差不多，目前看一些消息，似乎只有它把宣传片里的效果高保真的做出来了。其它产品相对就粗糙很多。
目前还看不到刚需场景，而且是真的有些贵，同观望中。
你没买一个试试啊？
明年初发售。