拾月的博客 - AR
type: channel
link: https://www.skyue.com/tag/AR/
items: Apple Vision Pro 的三个技术难题

Apple Vision Pro 的三个技术难题
type: item
date: 2023-06-08T14:37:00+00:00
description: 我没有使用过 VR 和 AR 设备，对相关技术也没有很深的了解，对沉浸式体验的认知停留在上海迪士尼的飞越地平线。但最近几天看了一些网上关于 Apple Vision Pro 的宣传和分析后，确实有种未来已来的感觉。下面说的三个难题，也是最近看的相关内容的总结。期间，我也充分意识到这件事情之困难，难怪虚拟现实的浪潮经过了好几轮，却始终未能真正普及。希望 Apple 能带着行业起飞。一、如何实现空间交互的物理反馈？我们经常会在科幻电影中看到在全息投影上的「空间手势交互」（区别于手机「平面手势」）的场景，但仔细想想，虚拟空间手势交互没有物理反馈（触感、阻力、震动等等），这是反直觉的，体验很差。任天堂 Switch 虽然不是 3D 设备，但有些需要肢体动作的游戏，手柄会有震动反馈，玩过的人都应该明白，这种震动反馈对游戏体验多么重要。放在 3D 空间交互，是同样的道理。Apple Vision Pro 未能解决空间手势交互的反馈问题，它另辟蹊径，最大限度的减少手势交互，且让仅有的手势交互，尽量的符合直觉。目前 Apple Vision Pro 演示的很多场景，仍然是平面交互，比如浏览网页、看照片、Facetime 通话等等，和 iPhone 类似，只不过这个平台悬停在虚拟空间。平面交互无外乎选择、点击和拖拽，Apple Vision Pro 将选择操作完全交给眼睛，看到哪，哪里就被选种，不依赖手势。然后点击和拖拽，也不用抬起手对着界面，只需要手指头一些轻微的动作，比如双指捏合就是点击确认，手指左右或上下轻扫，就是滑动，如同操作手机界面一样。同时，手指上的动作对手的摆放位置没有任何要求，如果你坐着，完全可以放在膝盖上。手指上的这些交互，比较符合直觉。手指交互的实现原理也不复杂，就是通过眼镜四周布满的摄像头捕捉用户的手势，这些摄像头的视野范围非常之广，所以你的手可以放在任何位置。当然，如果你需要输入文字，而又不用语音，也只能在虚拟键盘上对着空气敲击。敲击虚拟键盘时，也许能提供声音和视觉（如按钮亮起）反馈，但肯定无法提供像物理键盘那样的触感。如果涉及到 3D 界面的复杂交互，比如拼 3D 积木，大概还是得抬起手对着空气操作。没有别的办法。长期来看，要说人们完全适应无反馈的交互，也不是没可能，只是那便不是虚拟现实的最佳形态，毕竟现实中，触感十分重要，不能丢。更可能的发展是像三体游戏那样，未来有手套、衣服这些外设，模拟触感反馈。二、如何对用户本人建模？Apple Vision Pro 是全封闭的，内部是两块 4K 屏幕，双眼看到的外部环境是摄像头拍摄并实时建模渲染到屏幕上的影像，因为分析率够高（4K），渲染速度够快（据说12ms），因此仿佛肉眼直接看到外部环境一样。因为摄像头主要集中在眼镜周边，所以只能为用户身前的环境建模，无法为用户本人以及身后的环境建模。如果只是一个人孤立的使用，这没有问题，因为眼镜的视野范围与肉眼的视野范围接近，符合直觉。但如果两个用户异地使用眼镜，进入到同一个虚拟空间，这就有问题了。两个人需要看到彼此的全身。想象一个场景：你在试衣服，然后让外地一个朋友看看效果。Apple Vision Pro 似乎无能为力。Apple 的发布会上，演示了 Facetime 通话，它仍然是平面视频，只不过是投射到空间而矣，这与 iPhone 的平面视频没有区别。甚至还不如 iPhone 的平面视频效果。因为 iPhone 的平面视频，是前置摄像头直接拍摄的，而 Apple Vision Pro 因为无法拍摄面部，是通过 AI 建模虚拟出用户的形象。Apple 称这套虚拟人像建模技术为「EyeSight」。我觉得，Apple Vision Pro 无法为用户自身，尤其是无法为用户面部表情建模，导致任何需要多用户面对面交互的场景，都做不到逼真的还原，大大制约了它的应用场景的想象空间。与 Facetime 类似，再比如会议场景，远程办公的同事集中到一个虚拟会议室开会，在这个会议室中可以有一个共同的白板，可以有一个圆桌，大家围坐着，但大家的形像做不到足够的逼真，尤其是面部表情，也就无法难获得像线下面对面开会一样的体验。当然，没有外人在的 3D 场景，它是百分百胜任的，最简单的是「看」3D 电影，复杂点带交互的，比如：Lego 应该马上得为它开发一个积木游戏，能获得类似真实世界拼 Lego 一样的体验。各种 3D 设计软件一定要赶紧跟上，建筑设计师不再需要在平面显示器上拖动视角，而能直接在 3D 场景下进行设计。三、体积和重量？这个没啥好细说的，Apple Vision Pro 的选择是，把电池分离出来。不够优雅，但也没有更好的办法。当然还有其它的技术难题，比如对外部环境实时的高保真的建模渲染。这一点，得益于 Apple 过硬的硬件实力（尤其是芯片开…