先是传出Vision Pro开发者实验室冷清，开发者兴趣不大。后有库克在财报电话会上为自己产品站台：我每天都用Vision Pro，体验者用了都说好。近期，知名近眼显示专利专家对Vision Pro功能演示中虚拟屏代替物理屏提出质疑，称“太荒谬”，文章还获得很多行业人士的支持。
Vision Pro亮相之后，虽然许多数码博主和Vision Pro开发者都抢先体验了它，并发表了体验感受，但仅凭这些还是回答不了关于产品的疑问，总是有点“隔靴搔痒”的意味。从数千项专利中找答案，看清苹果的深层玩法和布局，远比激烈对线更有价值。
就在一个月以前，苹果公司的人机界面设计副总裁艾伦·戴伊（Alan Dye）接受采访时称，设计团队为Vision Pro申请了5000项左右的专利，同时，在研发过程中，最难就是在专利公开的情况下设计Vision Pro。
目前每周仍许多有关于Vision Pro的专利流出，这些专利有的解答人们对于发布会上某些功能演示中存在的疑惑，还有的彻底放飞了大家的想象力，原来一款产品未来还可能会让人“闻到花香等各种味道”。
这也不禁让人思考：设计团队在专利中为Vision Pro埋下了哪些伏笔？Vision Pro又是否实现了苹果“最初的梦想”？
智东西通过对Patently Apple网站中有关Vision Pro的专利深扒后发现：原来看着简单两指指尖互相触碰实现的手动控制原来需要相机对手部各个关节端的识别；实现人物自动淡入、淡出的EyeSight功能使用了具有支撑结构的红外透明单向镜；来实现3D摄像，需要先让相机的POV模拟人眼的POV。
深扒专利为我们的解答的疑问远不及此，在对WWDC23发布会演示视频逐帧回顾后，智东西还发现，苹果“精心选择”了Vision Pro的演示功能，这背后藏着苹果多年布下的“一盘大棋”。
由于篇幅限制，我们选择了手动控制、空间窗口、眼动交互、Optic ID、空间音频、计算机生成现实体验、空中观看动作电影、AR体育赛事、沉浸式远程电线D摄影、影像拍摄通知、EyeSight等13项功能演示背后关系最为紧密的17项专利进行一轮“赛博拆机”。
在WWDC23上，最先映入观众眼帘的就是Vision Pro的手动控制功能。
从目前来看，Vision Pro与手势结合可用于玩视频游戏、导航菜单、控制媒体播放等。Vision Pro的计算机系统（computer system）允许用户使用微手势来与三维环境进行交互。
Vision Pro可以识别到对应的指关节、指尖、手掌中心、连接到手腕的手端等的点。Vision Pro的相机安装在远离用户的地方。微手势的不同运动和位置以及各种运动参数用于确定在三维环境中执行的操作。由于微手势不易引人注目，所以可以在公共场合中进行该操作。
目前，Vision Pro的手动控制还无法对实体设备进行操作，因此苹果还在继续研发智能戒指系统（smart ring system）。
从目前苹果的专利信息来看，该戒指具有包括滑动、点击、旋转等在内的16种交互方式。戒指中的传感器可以感知到用户的指令信息，然后根据指令控制虚拟物体和现实物体的交互。
同时需要明确的是，专利仅仅是技术保护的一种手段，这并不意味着苹果会在短期内推出智能戒指产品，但从该专利为未来可能的交互方式提供了新的可能性。
如果说，上一个专利与识别手部运动有关，那么这个与Vision Pro头显的3D“无限画布”（infinite canvas）有关的专利就与识别头部运动有关。
苹果早在2022年12月就申请了这项专利，并于今年6月在欧洲发布。从苹果的专利描述上看，Vision Pro的混合现实（XR）系统可以检测头部运动，并相应地调整呈现给人的图形内容和声场。
上图是真实和虚拟组件的分层在Vision Pro内呈现完成的增强现实（AR）视图。根据苹果的说法，对于每一个用户界面（UI），头显都会分配一个边界，该边界定义了某个用户界面应该处于的物理环境。
接着应用程序会向操作系统发送请求（request），然后操作系统接着会反馈给应用程序哪些是受限制的信息（constrained information）。
随后，操作系统会将处理好的场景信息、各个应用程序也会将应用数据传送到渲染引擎（rendering engine）之中。渲染引擎将加工好的信息传送到合成引擎之中，与最初由传感器和摄像机捕捉到的信息进行最终合成，最终各个应用程序界面就会显示在用户面前。
除了手动识别、头动识别、Vision Pro还能针对眼部运动进行识别。产品评论家Marques Brownlee在看到Vision Pro的产品称，你一旦开始使用Vision Pro后，一定会关注它的眼动追踪功能（eye tracking），“我通常不会评价科技产品的功能为“魔法”或者“超现实”，但是这是我接触过最接近魔法的事情。”
从美国专利商标局的公开信息来看，Vision Pro的眼动追踪功能和一项“用于注视端点确定的方法和装置”的专利有关。该专利可以用于确定主体在空间中注视三维物体的端点。听起来似乎很复杂，事实上就是一个“眼动控制装置”。
该专利将用户头部及其周围环境定义为一个系统，并将其分为了多个单元区，其中包括眼睛跟踪单元、头部跟踪单元、3D场景结构表示单元（3D scene structure representation unit）、计算单元等。
Vision Pro会追踪用户的眼睛的注视方向，头部、眼部跟踪单元相对于整个参考坐标系的位置和取向，接着，Vision Pro在就会在3D场景结构表示单元中，通过参考坐标系中的坐标通过线D结构来表示真实世界场景和场景中包含的对象。最后，计算单元会基于用户眼部的凝视方向、眼动仪的位置、3D场景结构表示等来计算出用户的凝视端点。
8月初，Vision Pro虹膜生物识别系统Optic ID背后的专利也“浮出水面”。
从苹果的描述来看，这项专利可以理解为“生物信息辨识算法”，Vision Pro的摄像机可以用于捕捉用户的虹膜、眼睛、眼眶周围区域的生物特征图像，然后摄像机中的控制器（controller）上执行的算法可以动态地确定这些被捕获的图像中哪个可以用于生物识别认证。
Vision Pro摄像机中控制器选择图像的客观标准包括：图像的曝光度、对比度、阴影面积、清晰度、是否有遮挡物体、是否有反射光等。
在结束身体部位识别板块后，想必大家在观看WWDC23时，都会对上面动图中演示的“空间音频”的功能有所印象，同时因为没有亲身体验过“空间音频”，所以并不清楚“空间音频”会如何提高沉浸感苹果手机怎么租一个美国id。
传统上，当声音沿间接路径传播时，耳道入口接收到的声学信号中可能会存在伪影，通过使用空间音频滤波器的信号处理算法，可以将用户特定的伪影合并到双耳的音频中去。
为了实现准确的空间音频再现，虚拟音频系统可以使用HRTF来创建声音来自空间中某处的错觉。声音可以使用射线进行追踪，这种方式被称为几何声学（GA）注册美国苹果id邮箱验证不了，几何声学的方法可用于模仿合成声波的某些现实行为带来的听觉刺激。
目前的空间音频合成软件可以管理实时模拟移动接收器周围的移动声源的计算负荷，然而，这些模拟往往是基于静态混响的，在现实世界的场景中，声波和反射性/阻碍性表面之间存在着显著的相互作用。房间的建筑或场景构成中的每一变化都会对房间里的声波在任何给定瞬间的实时模拟方式产生重大影响。
这就需要改进虚拟三维环境中的实时物理听觉化技术，这包括其中任何（或全部）的环境：声源、声音接收器和虚拟环境中的几何/表面可能在声源被模拟时的动态变化。
当用户走到虚拟空间中的哪个位置，都能听到实时处理的遍布于空间内拟真的声音效果，这些声音会根据空间内物体位置、甚至材质，以及实时移动的人产生变化，从而更加线.生成用户化身，支持计算机生成现实体验
一些CGR体验呈现模仿用户行为的用户化身，如果用户移动身体的一部分，化身就会移动相应的部分。
由于飞机颠簸，以及VR/AR头显显示的视野太窄或各种追踪功能缓慢/不准确，身体运动、头部运动与VR/AR头显观测到的事物容易产生不匹配的情况，从而导致定向障碍和恶心。
在Karl Guttag的分析中可以看到，在通常情况下，人体主要通过三种感官来保持平衡，其中内耳器官的前庭感知（VOR）可识别头部的方向，以及哪个方向是上下方，如果人眼前看到的运动与前庭系统感知到的运动不相符，那么就容易引起恶心、眩晕等症状。
巧合的是，苹果今年6月公布的一项专利显示，苹果的确走了一条和Karl Guttag的猜测相同的路注册美国苹果苹果手机怎么租一个美国idid邮箱验证不了。这两项专利分别可以理解为“运动感知增强系统”和“相对惯性测量系统”。
具体到实施方式上，苹果增加了与用户物理环境的3D空间相关联的内容到凹注视区域外部。这样的目前是为了使用户可以相对于计算机生成现实（GCR）环境中移动，并且使用户感知到的运动与前庭系统（vestibular system）感知的信息相匹配。
同时，Vision Pro还会在通过传感器获得用户的生理数据和运动数据等的基础上，向用户提供相关联的视觉和听觉体验。
Karl Guttag对于Vision Pro也有疑惑的问题：在长时间空气不流通的场景下，如果让人一直佩戴有一定重量、贴脸、且会散发热量的头显来看电影，体验感可能并不理想。飞机上的空乘人员、乘客可能会来回走动，每当有人靠近的时候，都可能触发Vision Pro的透视模型，打破观影的沉浸感。
从苹果的介绍来看，传统的VR和AR设备无法将用户身体部分的运动与用户所处的参照系（reference frame）分离开来。
根据使用者观看现场活动的方向和观看位置的视觉数据，Vision Pro选择为用户呈现特定视野或观察视角的沉浸式视频内容。
将时间倒回2022年6月，苹果和美国职业足球大联盟（MLS）宣布，Apple TV应用程序将独家播放2023以后的每场MLS比赛直播。为了进军视频业，苹果正希望将拓展MLS的呈现方式，使用户可以在Vision Pro中观看MLS比赛直播，同时感受到现场比赛的氛围。
在续航方面，户外比赛需要处理大量的实时图像和数据，对电池续航和节能的要求会增加。
在技术方面，如果实现对体育赛事的AR呈现，Vision Pro需要高效处理大量的图像和数据，以提供给流畅的增强现实体验。
系统的实时跟踪和定位性能也需要高精度和稳定性，以确保在真实世界中的精准重叠。
下图描述了沉浸式电话会议和远程呈现系统的简化结构，图中可以看到，一群同时正在会议室中开会，房间中含有会议桌，以供实际出席的参与者使用。
当有人并未出现在会议室中，但还是希望加入电话会议。那么会议室中的参与者可以使用屏幕显示来自个人的共享演示文档或者视频流。
该专利允许使用iPhone、iPad、Mac的用户将正在操作的文档传输到Vision Pro之中，允许用户在扩展现实中完成该文档。接着Vision Pro可以通过检测用户手指运动来进行输入。
Vision Pro中的处理器会将捕捉到的用户界面生成副本，然后会为用户重新创建一个文档，使其可以在Vision Pro所提供的显示界面中继续编辑该文档。
当Vision Pro接管了该文档的控制权之后，iPhone的显示屏可能会关闭或更改为低功耗状态。同时Vision Pro还可以在XR环境中打开多个应用窗口。
苹果在2020年被授予了一项名为“自适应输入表面”（Adaptive Input Surface ）的专利，该专利与触敏输入（touch-sensitive）有关，可以代替具有触觉反馈的虚拟键盘。触觉反馈可以通过静电电极的可控阵列提供给用户，这可以使用户感知到表面上不同水平的摩擦力。就可以有针对性地进行输入。同时输入表面移动感的致动器还会进一步为用户提供附加的触觉反馈。
最后要讲的三部分与Vision的摄像功能和相关的透镜镜片有关，其中不得不提的就是Vision Pro的3D摄像功能。
在传统的VR/AR头显中，场景摄像机（scene cameras）安装在头显的前面。但通常情况下，场景摄像机的入瞳以及视点（POV）与用户眼睛的POV存在很大的偏移，因此，摄像机的POV并不能代表人眼的POV。
Vision Pro通过将相机的入射光瞳向用户的眼睛处移动来校正相机的POV，以更好匹配用户的POV，从功能的角度，该专利可以理解为“相机POV校正装置”。
Vision Pro的相机的二维阵列（two-dimensional arrays）可以捕获眼前真实世界场景的各个部分的图像，摄像机沿球面曲线或曲面定位（spherical curve or surface），以使摄像机具有不重叠的相邻视场（FOV）。同时，为了准确表示用户的视角，Vision Pro相机中的光学器件被配置为使阵列中相机的入射光瞳位于图像传感器处所形成相机图像平面的后面。同时，Vision Pro的相机也在传感器上形成优化的图像。因此，每个相机阵列都能从与用户眼睛基本相同的视角捕捉场景的视图。
360摄影和后期制作相关的专利，或许可以更好地解释Vision Pro如何实现了体验者们所言的“3D立体景观”。苹果在专利中称，传统的180度和360度视频和图像都以平面存储格式（in flat storge formats）进行存储，同时使用等距柱状投影（equirectangular projections）或立方投影（cubic projections）来表示球面空间（sphrical space）。如果这些视频或图像在传统的编辑或图形应用程序中进行编辑，同时当这些视频或图像以圆顶投影、立方体或球面映射的方式分布和呈现时，容易出现大量问题。
同一设备上的软件程序，可以从有线或无线链接的头戴式头显的方向和位置数据，并同时将该方向代表的代表性单视场或立体场视图实时渲染到Vision Pro中。
说到这或许就可以解答如何形成3D立体景观了，但苹果并未止步与此，苹果在专利中还进一步想到了关于Vision Pro拍到的照片和视频如何进行后期制作，虽然苹果没有在WWDC23的预告中展示这方面的功能苹果手机怎么租一个美国id。
简单来讲，Vision Pro使用GPU缓冲区来接收图像数据，同时这个GPU缓冲区还与媒体操作的应用程序相关联，可以获取到显示设备的方向数据（orientation data），这样利用获得的图像数据和方向数据，Vision Pro的屏幕上就可以显示出预览图像。需要指出的是，当媒体操作应用程序并修改图像数据时，所述的预览图像会被动态修改。
从专利信息来看，苹果在Vision Pro安装上许多传感器，首先是，三维传感器，三维传感器下面又分为多个类别，例如三维图像传感器（three-dimensional sensors）、结构光传感器(structured light sensors)，当目标被光束照射产生的光点的三维图像数据被三维图像传感器捕捉到，这时Vision Pro中的相机就会对图像进行拍摄。
当相机在捕捉运动图像的时候，指示器变为红色，当相机没有捕捉视频时，指示器就可以为绿色或者黑色。
13.双向镜和单向镜间自由切换，EyeSight可实现自动自动淡入、淡出功能
据悉，Eyesight的想法可以追溯到苹果前首席设计师Jony Ive，事实上Meta曾在2021年展示过带有假视觉的原型。
EyeSight功能简单来说，就是外部的显示屏可以实时显示用户的眼睛。然而实现该功能并非容易，一方面传统的2D显示器在显示眼睛时会显得不自然。于是以Mike Rockwell为代表的开发人员想到了制造一种弯曲的透镜显示器，这种显示器可以为每个观察Vision Pro外显示屏的人呈现独特视图。
今年5月，在一项在Lenticur透镜显示图像的方法的专利被公布出来。从专利信息来看，Vision Pro离线后会生成静态网格，传感器会实时将拍摄对象的纹理信息映射到固定的网格之中。在离线的过程中，被拍摄对象的纹理信息和3D网格信息（3D mesh information）可以用于渲染对象多个视点的UV贴图（UV map），这样就完成了3D建模。
从图1A和图1B分别显示了Lenticur显示器的3D前视图和顶视图。Lenticur显示器包括显示面板、该面板的材质可以是LCD、OLED、DLP、LCoS（硅基液晶）。同时，可以看出Lenticur使用了柱面透镜，这种透镜本质上一组放大透镜，特点是可以改变图像的宽高比，为每个观察Vision Pro外显示屏的人呈现独特视图。
，这取决于用户是在沉浸式内容中还是与附近的人进行互动。自动淡入可以理解为，当有人靠近用户时，此人会自动出现在视野中。
Vision Pro的镜片中带有涂层，就像太阳镜和滑目镜这类产品一样，可以产生单向镜面效果。但是这也就造成一个问题，当使用者佩戴太阳镜、滑目镜这类产品时，由于涂层不够透明很可能会使组件无法有效运行。
Vision Pro使用了红外透明单向镜，这款单向镜使用了支撑结构（support structure）的材料，这种支撑结构可以支撑材料层，使得材料层将外部区域和内部区域分开。
同时，光学器件可以与材料层重叠，这样可以实现该效果的光学组件包括可见相机的可光组件和诸如红外发光器件、光红外发射器的、红外光传感器的红外组件等可以穿过材料层，同时被红外透明单向镜的反射外观隐藏而不被看到。
14.结语：打造虚拟交互新模式，Vision Pro有望掀起XR领域热潮
从上文深扒Vision Pro 13项功能展示中背后专利可以看到，无论是空间窗口、空间音频等都为用户带来了“空间计算”新体验，同时，EyeSigtht功能一改传统XR设备“隔绝式”交互方式，使得佩戴者既能实时看到外部情况，还能在有人靠近的情况下，与现实中的人进行交互，打造了虚拟交互新模式。
XR发展已有10余年的时间，这期间虽然一直缺少爆款级产品出现，但是由于以苹果、Meta、谷歌为首的科技巨头的“押注”，XR领域一直受关注度较高，与之相关的新专利、新产品、新场景也在持续发布。作为苹果“十年磨一剑”打造出来的现象级产品Vision Pro有望掀起XR领域的热潮，进一步扩大XR设备的市场规模。
