一文看懂Magic，Leap的技术到底有多神秘

很多朋友对一文看懂Magic，Leap的技术到底有多神秘不是很了解，每日小编刚好整理了这方面的知识，今天就来带大家一探究竟。

本文转载自《江门》。原作者：Jono MacDougall译者：曲晓峰Magic Leap一直对他们的技术细节保密。我们只知道他们的系统是全新的，远远优于所有消费者熟悉的现有竞争对手。难怪Magic Leap要对他的革命性系统保密。很多公司都在伺机窥探，想知道是什么技术让人们如此兴奋。

这种技术听起来像是苹果想要的，具有真正创新的潜在革命性“新事物”；也是微软想在Hololens上实现的，但远未实现。受谷歌眼镜启发，但显然领先几代。这项技术到底是什么，它是如何工作的？我调查了在Magic Leap工作的人的演讲、专利、工作申请及其背景，试图找到这个问题的答案。总的来说；一般来说；基本上

这些是标准尺寸的眼镜。但是你把照相机放在哪里呢？注意：这不是Magic Leap的产品。

在说细节之前，先说一下这个大体是什么技术。简单来说，Magic Leap就是在做一个可以把物体投射到人的视野中的设备，而且远比我们现在看到的其他同类设备要真实。Magic Leap的设备由两部分组成：一副眼镜和一个便携式袖珍投影仪/计算模块。这个模块是一个长方体，没有手机大小的屏幕。这个便携式计算模块通过数据线连接到眼镜。

眼镜和普通眼镜大小结构差不多，可能胖一点。体积小是这种产品的一个重要特点。小尺寸意味着该产品可以在社交场合佩戴，它可能像智能手机一样便携易用，可以在任何地方使用。

便携投影计算模块如图，一个充电宝，大小和Magic Leap便携模块差不多。Magic Leap最突出的特点就是可以将眼镜本体中很大一部分必要的硬件设备去掉，放入另一个独立的模块中。而HoloLens则相反，大幅缩小了耳机中各个组件的尺寸，但也只是缩小到现在的程度。便携模块里有什么？可能有以下零件：电池

这种电池的容量和现在的智能手机差不多，可能还多一点。如果要更换智能手机，那就要大电池了。我估计至少要5000毫安。CPU/GPU

你必须使用最新一代的移动CPU。据估计，将使用高通。幸运的是，他们应该不会使用高端的图形处理，因为混合现实MR只需要渲染部分，而不是整个场景。这样就避免了虚拟现实VR所需要的高强度图形处理。内存和智能手机差不多，估计3-4 GB。定制SLAM芯片

这是将虚拟对象放入现实世界所必需的。他们可能会播放自己的电影，或者使用Movidius或其他类似的芯片。4G/Wifi/蓝牙SIM卡GPS芯片摄像头

眼镜上肯定有一堆摄像头，但这不代表便携模块可以没有。耳机上的SLAM相机不同于普通的数码相机。眼镜尺寸有限，可能无法装高倍摄像头，只能放入便携模块。这样设计的好处是可以减轻别人对隐私侵犯的担忧。如果没有便携模块，只有眼镜，就无法拍照。激光投影仪

这是该设备的主要创新点。投影系统从眼镜中移除，并移动到便携式模块，这大大减小了产品的体积。投影光由便携式模块产生，然后通过光纤传输到耳机。后面我们会详细分析它的工作原理。眼镜当我们试图将所有东西都塞进便携式模块时，眼镜上还剩下什么？眼镜上必须安装以下部件：惯性测量单元(IMU)是常见的加速度传感器、陀螺仪和指南针。耳机

也许我会用谷歌眼镜上的骨传导耳机。要看他们的设计思路是否要和身体协调。骨传导的好处是可以同时听到耳机播放的音乐和其他声音。麦克风光学系统、相机光学系统和摄像头是最有趣的组件。下面我们来具体分析一下。光学部分

根据专利文献，Magic Leap使用的光学设备比HoloLens和谷歌眼镜使用的传统投影系统要小得多。如上图所示，光源与耳机主体是分离的，这也是我们可以推断光源在便携模块中的原因。其次，设备的镜头系统也很小。虽然示意图显然不是按等比例绘制的，但它也必须表示相关部件的大致尺寸。我们真正看到的唯一组件是镜头。

对比鞋面5、6、7、8组件和镜片的宽度，很容易看出相对尺寸。

这是什么意思？他们怎么能把光学部分缩小这么多，同时又号称实现光场显示，高分辨率，视野惊人？答案包括光纤扫描显示和光子光场芯片两部分。光纤扫描显示器

光纤扫描显示是一种全新的显示系统，在消费电子产品中从未使用过。我们只能通过其2013年的专利申请文件来了解。这个专利申请文档是几天前的，所以关于系统性能的一些细节可能不准确，但基本概念应该保持不变。该系统使用一组驱动光纤来扫描和输出比其数值孔径大得多的图像。它就像一台老式显像管电视。

但是不是将输出电子扫描到屏幕以激发磷光体发光，而是直接扫描输出光。扫描由压电致动器实现。扫描频率保持在大约几十kHz。但是实际的图像刷新率并没有那么高。因为生成一幅完整的图像需要多次扫描(比如专利中的250次)。这完全改变了我们对分辨率的概念。

这种技术的图像分辨率取决于光纤的扫描频率、光纤可以会聚的最小光斑尺寸(这决定了像素大小)、生成图像所需的扫描次数和刷新帧率。考虑到他们在申请专利后对这项技术的进一步优化，其分辨率应该远远超过现有的消费电子产品。

一组光纤扫描单元紧密排列成束，以增加显示尺寸。每个光纤扫描单元的宽度为1 mm除了分辨率和帧率，宽视场(FOV)也是显示逼真全息图像的关键。在该专利的背景信息部分有一个关于这一块的有趣描述。

头戴式显示器(HMD)的视野可以由微显示器的图像尺寸和观察光路来确定。人类视觉系统的视野水平约200，垂直约130。但是大多数头戴式显示器仅提供大约40的视野。大约50-60弧秒的弧度分辨率代表20/20视力表分辨率。弧度分辨率由微显示器每英寸的像素决定。

为了匹配普通人的视觉系统，头戴式显示器应该在水平40和垂直40视野中提供20/20视力表分辨率。以50弧秒计算，相当于800万像素(8 Mpx)。如果我们把视野扩大到水平120，垂直80，就需要5000万像素(50 Mpx)。

这里有两件事。首先，消费级显示器的分辨率远低于大视场所需的分辨率。这也是为什么HoloLens这么难放大视野的原因。第二，显示了魔跃的野心。他们希望提供水平120和垂直80的视野。这个视野比Oculus Rift大，分辨率远超。他们意识到了吗？现在还不好说，但至少专利里提到了一些技术参数，别忘了这些都是三年前的数据。

他们可能已经改进了技术。

像素间距是从一个像素的中心到相邻像素的中心的距离。它限制了图像的分辨率。传统的微显示器，如HoloLens使用的微显示器，像素间距为4-5微米。像素间距限制了这些显示器的分辨率，并因此限制了所产生的视野。专利申请文件显示，扫描光纤显示器可以产生0.6微米的像素间距，高出一个数量级。

这能达到什么样的分辨率？专利中有一段提到了4375 x 2300的分辨率，但我觉得不止如此。这是描述基本方法时的一个例子，然后讨论多芯光纤的性能提升。我觉得它的分辨率会比那个高很多。这对开阔的视野至关重要。特别值得注意的是，最后一项专利提到了120度视野：上述技术可用于制造头戴式或其他超高分辨率的宽视野显示器。

我觉得这充分证明了它的视野至少会大于40，接近其宣称的120也不是不可想象的。如果非要赌的话，我赌90。光子光场芯片

第一次听到Rony Abovitz把自己的镜头命名为“光子光场芯片”的时候，我很郁闷。不要总给这些由来已久的东西起一些不相干的名字。就叫它罗尼镜头吧。但是随着我逐渐深入了解，真的不是简单的镜头。它是做什么的？为什么比其他镜头更有趣？我们先来看衍射光学元件。衍射光学元件的例子

衍射光学元件可以被认为是一组非常薄的透镜。它们可用于整形、分光、均化和扩散。Magic Leap使用带有圆形透镜的线性衍射光栅来分割光线，并产生特定焦距的光束。也就是说，它将光引入你的眼睛，使它看起来好像是从正确的焦平面发出的。俗话说，说起来容易做起来难，但这都不好说。至少我在专利文件里是这么发现的。

为了产生光场，Magic Leap使用两个分立元件来配置一个光子芯片。一个元件(示意图中的6)提取投射的光，插入第二个元件(示意图中的1)，第二个元件将光引入人眼。

这两个组件都使用doe来完成它们的工作。doe的主要问题是，在仔细调试之后，它们只能用于特定的工作。它们不能工作在不同的波长，不能实时变换到不同的焦点。为了解决这个问题，Magic Leap堆叠了一组针对不同波长和焦平面优化的doe，作为一个大的透镜组。这些doe都很薄，和光的波长在一个数量级，所以加在一起也不会让设备太厚。

这就是为什么这个光学系统被称为芯片。Magic Leap可以切换不同层的doe。通过这种方式，他们可以改变光线到达人眼的路径。这就是他们如何改变图像的焦点以形成真正的光场。正如专利所说：

例如，当打开一组doe中的第一个时，可以为从正面看进去的观察者生成光学观察距离为1米的图像。当打开一组中的第二个DOE时，可以生成光学观察距离为1.25米的图像。

你可能会觉得这种技术有局限性，尤其是当你需要很多层来产生不同焦点的图像时，但其实真的不是这样。doe的不同组合可以产生不同的输出。不是一个DOE对应一个焦平面，而是一个DOE组合对应一个焦平面。改变DOEs组中的有源层将改变从光子场芯片发出的光。它们可能比照片上多很多层，但天知道有多少层。

最后，我们明白Magic Leap是如何实现其过去的利用光来创造黑暗的主张的。我们分别用一个外DOE和一个内DOE，可以像主动降噪耳机一样抵消外界光线。专利中说这可以用来抵消类似于背景光或者真实世界光的平面光波导，某种程度上类似于主动降噪耳机。

那么，为什么这是芯片呢？嗯，一个典型的电子芯片会根据一定的条件改变电子的流向。Magic Leap的光子光场芯片根据一些参数改变光子路径。我认为它是一种芯片。

我们遗漏了什么？我们有了光子光场芯片，有了高分辨率投影，但是如何构造图像呢？这是通过组合。图像是分层绘制的，因此不同的部分可以投影到不同焦距的子图像上。换句话说，每一帧都是通过多次扫描构建的，每个焦平面都是单独绘制的。照相机

Magic Leap试图在相机上实现三个功能。第一个是最明显的，可以生成日常图像的相机。这是他们使用的最容易理解的相机技术，他们可能只是使用了智能手机市场上最新的类似传感器。这个相机是戴上眼镜还是便携模块还不得而知，但肯定有一个可以拍照的。

另外两个函数很有趣。Magic leap多次提到其设备具有理解周围世界的能力。在一次采访中，有人提到该设备可以识别物体，如刀叉。为此，他们需要一套摄像机。我们可以看看HoloLens，它在这方面做得很好。HoloLens有一套四个环境感知相机和一个深度相机。我们可以从Magic Leap的专利文件中得到进一步的证实。

示意图显示了眼镜的左右镜腿的两个组件。上面是左太阳穴，下面是右太阳穴。

从上面的示意图中，我们可以找到两个向外的摄像头，称为“世界摄像头”。专利的文字描述暗示可能有两个以上的摄像头，原文说“一个或多个摄像头(每侧)面向外部或提供世界视角”。暂时不知道具体会有多少摄像头，也不知道Magic Leap会把这些部件做得有多小。但我们知道的是，这些要戴上眼镜，对SLAM来说很重要。

最后一个相机的功能也可以从上面的原理图中找到。至少要有两个相机拍摄眼睛。这是用来追踪视线和眼动以便获取焦点和视线方向。同时也会有红外LED 为这两个相机提供照明。眼跟踪对于用户交互很重要。我想“你在看什么”个问题对于你如何与Magic Leap 交互应该是非常重要的。这将是其主要的交互工具，就像是电脑的鼠标。

当然，现在，我没法验证这些信息是真是假，但这些加总在一起，确实感觉上就像Magic Leap 正在做的东西。不管最后这个产品会不会在消费市场上获得成功，这确实是好一阵子没有见到的一个技术产业的真正意义上的创新。我真的无比激动想要看看他们会有什么奇遇，同时也期待该产品在业界会造成什么样的影响。

以上知识分享希望能够帮助到大家！