改變世界還是忽悠？Magic Leap黑科技全解析

相信有非常多的人和我一樣，想要知道Magic Leap的產(chǎn)品究竟是怎么樣的？它如何發(fā)揮作用？我找遍了所有相關(guān)的訪談，專利，應(yīng)用設(shè)計(jì)以及在Magic Leap工作的人的背景資料等想要找到這一答案。

奧斯特豪特設(shè)計(jì)團(tuán)隊(duì)ODG與BMW MINI合作設(shè)計(jì)的AR眼鏡，說(shuō)不定Magic Leap的設(shè)備具有相似的外觀。

在深入那些資料細(xì)節(jié)之前，我們不妨先概述一下它將會(huì)是一個(gè)怎樣的產(chǎn)品。簡(jiǎn)單來(lái)說(shuō)，Magic Leap正在制造一款能夠?qū)⑻摂M物品投射到我們視場(chǎng)中去的設(shè)備，它產(chǎn)生的圖像的真實(shí)程度遠(yuǎn)超我們聽(tīng)說(shuō)過(guò)的任何其他同類產(chǎn)品。Magic Leap產(chǎn)品由兩部分組成：一副眼鏡和一個(gè)小型的投影/計(jì)算裝置，你可以把它想象為一個(gè)沒(méi)有屏幕的手機(jī)大小的盒子。這個(gè)盒子通過(guò)線纜與眼鏡相連。

這幅眼鏡的大小和外觀和現(xiàn)在人們常戴的那些差不多，當(dāng)然，嚴(yán)格來(lái)說(shuō)它們還是要比我們平時(shí)使用的產(chǎn)品更笨重一點(diǎn)（畢竟內(nèi)含光學(xué)/電子元件）。這個(gè)超小尺寸的頭盔產(chǎn)品是這個(gè)裝置的基礎(chǔ)組成部分。這意味著它更容易被公眾接受，且具備與智能手機(jī)聯(lián)動(dòng)的潛力。

這是一款移動(dòng)電源，也許他們的計(jì)算單元就差不多是這個(gè)樣。

Magic Leap實(shí)現(xiàn)這樣一個(gè)極其輕便的眼鏡主要依靠將它的大部分組件從眼鏡端移到了一個(gè)獨(dú)立的單元上（相似的設(shè)計(jì)，VR端有Pico Neo；雙目AR端有影創(chuàng)Air）。舉一個(gè)相反的例子，HoloLens，盡管他們已經(jīng)將設(shè)備的重量和尺寸優(yōu)化到極致，仍然有好幾斤重（因?yàn)榘姵卦趦?nèi)的所有元件都在那個(gè)“頭箍”里面）。那么那個(gè)獨(dú)立單元包含哪些原件呢？

電池：它應(yīng)該具備匹敵甚至超過(guò)現(xiàn)代智能手機(jī)的電容量（看用途而定）。如果它想要取代智能手機(jī)，那就需要更多電量，至少要5000mAh。

SOC：主要指的就是CPU、GPU、RAM、基帶、ROM以及定制芯片等等。這里面當(dāng)然包括最新一代的移動(dòng)處理器，目前來(lái)說(shuō)就是高通的驍龍系列。因?yàn)槭荕R類產(chǎn)品，或者說(shuō)更接近AR產(chǎn)品，它不像VR需要渲染整個(gè)場(chǎng)景，只渲染個(gè)別虛擬物品的話，計(jì)算量自然低很多。所以它并不像VR那樣需要異常強(qiáng)大的GPU。RAM的需求自然也與智能機(jī)同等水平，4G差不多了。AR眼鏡的一項(xiàng)核心技術(shù)就是即時(shí)定位與地圖構(gòu)建SLAM，它可以確定各種虛擬物品（以及使用者的頭部）在現(xiàn)實(shí)空間的位置。這個(gè)也是非常消耗計(jì)算資源的，所幸它可以采用專用處理芯片處理，不知道他們會(huì)自己定制芯片還是采用Movidius最新的Myriad 2 VPU芯片。

攝像頭：毫無(wú)疑問(wèn)眼鏡上面會(huì)安置有若干個(gè)攝像頭，但這并不代表獨(dú)立單元上就沒(méi)有攝像頭。眼鏡上面的攝像頭主要用來(lái)進(jìn)行SLAM探測(cè)，而獨(dú)立單元上的則是拍照用的。畢竟眼鏡上面空間極其有限，他們很難在上面集成高像素的攝像頭并配備優(yōu)質(zhì)的鏡頭組（比一般的攝像頭更大一些）。這對(duì)隱私問(wèn)題也有幫助，這樣人們拍照時(shí)還是需要舉起手持裝置。

激光投影：這個(gè)就是Magic Leap與其他家完全不同的地方了。把這部分也從眼鏡上移下來(lái)的話可以使最終產(chǎn)品的尺寸和重量急劇縮小。影像將在口袋中的獨(dú)立元件中產(chǎn)生并通過(guò)線纜中的光纖傳送到眼鏡上，文章后面將會(huì)有一段專門討論這個(gè)技術(shù)的工作原理。

Magic Leap公司著名的鯨躍出水面的特效，正是這段視頻引發(fā)了人們對(duì)其產(chǎn)品的無(wú)限遐想。

在我們列舉了所有能夠塞到口袋中的元件之后，那么頭頂上的眼鏡里還剩些什么呢（這些都是不可能移出的）？

IMU（慣性測(cè)量單元）：也就是傳統(tǒng)的三軸陀螺儀，三軸加速度計(jì)和三軸電磁傳感器，它們用來(lái)檢測(cè)頭部轉(zhuǎn)動(dòng)。

耳機(jī)：也許他們會(huì)采用Google Glass的骨傳導(dǎo)方案（好處是方便，缺點(diǎn)是音質(zhì)渣）。這也算是一種人體工程學(xué)吧。骨傳導(dǎo)的另一個(gè)優(yōu)點(diǎn)就是它不會(huì)阻斷外界的聲音。

麥克風(fēng)，光學(xué)鏡片和攝像頭：他們所采用的光學(xué)鏡片和攝像頭都是非常特別的元件，所以讓我們仔細(xì)來(lái)瞧一瞧吧：

光學(xué)鏡片：

從他們的專利申請(qǐng)書上我們可以知道，Magic Leap使用的鏡片相比HoloLens和Google Glass上使用的傳統(tǒng)投影裝置有極大的體積優(yōu)勢(shì)。上面的圖片展示的光源和頭盔本體是分開(kāi)的，這也是為什么我們會(huì)在前面猜測(cè)光源是安置在獨(dú)立單元的原因。

另外，它展示的透鏡系統(tǒng)極其微小。專利申請(qǐng)書上的是概念演示，自然不代表它實(shí)際的尺寸，它所代表的是各組件大概的尺寸。不過(guò)他們?cè)?jīng)展示過(guò)一塊光子晶片，將它對(duì)比圖中的組件5,6,7和8的寬度，我們就能了解整個(gè)裝置的大概尺寸了。

那么這究竟是怎么回事？他們是如何把光學(xué)系統(tǒng)縮至如此大小同時(shí)還提供所謂的高分辨率、效果驚人的光場(chǎng)顯示的？秘密在于這兩個(gè)方面：光纖掃描顯示和光子化光場(chǎng)芯片。

光纖掃描顯示：

這個(gè)顯示技術(shù)依靠一個(gè)全新的顯示系統(tǒng)，此前從未應(yīng)用到任何消費(fèi)級(jí)電子產(chǎn)品中。我們所知道的關(guān)于這個(gè)技術(shù)的所有細(xì)節(jié)都來(lái)自于2013年的一份專利申請(qǐng)書中。

這個(gè)專利是幾年前申請(qǐng)的了，所以有關(guān)這個(gè)系統(tǒng)實(shí)現(xiàn)的具體細(xì)節(jié)可能已經(jīng)發(fā)生了一些改變，不過(guò)其根本原理肯定是不會(huì)變的。這個(gè)系統(tǒng)使用一根震動(dòng)的光纖掃描比光纖直徑大得多的圖像，它有點(diǎn)像那種老式的顯像管電視機(jī)。只不過(guò)掃描的不是電子，而是光源本身。

它使用一個(gè)壓電傳動(dòng)裝置來(lái)實(shí)現(xiàn)這個(gè)掃描，這個(gè)裝置可以維持約24kHz頻率的掃描速率。當(dāng)然，我們實(shí)際到不了那種程度的速率，因?yàn)樗枰M(jìn)行多層掃描（專利上舉例是250圈）生成一個(gè)完整的圖像幀。這將改變我們對(duì)分辨率的定義。在這個(gè)系統(tǒng)中，分辨率與光纖的掃描速率有關(guān)，光纖能夠聚焦的最小點(diǎn)徑（這個(gè)被定義為一個(gè)像素點(diǎn)），為了生成一個(gè)完整的圖像幀所需要掃描的次數(shù)和幀率。最終我們所獲得的圖像究竟能比現(xiàn)有的設(shè)備清晰多少依賴于他們?cè)趯＠暾?qǐng)之后到底做了多少優(yōu)化工作。

將若干光纖掃描單元集成到一塊兒可以擴(kuò)大顯示區(qū)域，每根管子直徑為1mm。

分辨率和幀率對(duì)于獲得一個(gè)最終的超逼真的全息圖像自然是非常重要，但視野也同等重要。關(guān)于這一點(diǎn)，讓我們來(lái)看看專利書上這段有意思的描述吧：

“這個(gè)頭顯裝置的視野（FOV）將會(huì)由微型顯示器圖像大小和鏡片本身共同決定。人類的視覺(jué)系統(tǒng)的FOV總共大約有200度水平：130度水平（原文就是這樣），但是大多數(shù)頭顯只能提供約40度的FOV。一個(gè)視敏度水平20/20（正常視力）的人能夠識(shí)別的極限角坐標(biāo)分辨率大約是50-60角秒（角度單位，1度為60角分，1角分為60角秒），并且這一點(diǎn)由微型顯示器的像素密度決定。為了最大程度上匹配人類視覺(jué)能力的平均值，一個(gè)頭顯應(yīng)當(dāng)在滿足20/20視敏度的前提下提供超過(guò)40度：40度FOV的圖像，所以以50角秒的角坐標(biāo)分辨率來(lái)?yè)Q算就相當(dāng)于約800萬(wàn)像素（4K）。要將它擴(kuò)展到120度：80度FOV需要將近5000萬(wàn)像素（nK？）?！?/span>

這里點(diǎn)明了兩件事。第一是為了將FOV提高到理想的水平，我們的消費(fèi)級(jí)顯示屏幾乎落后于需求整整一個(gè)數(shù)量級(jí)。所以我們明白了要讓HoloLens提高一點(diǎn)視場(chǎng)角究竟有多困難。第二是我們知道了Magic Leap的目標(biāo)。他們想要提供一個(gè)120度80度的FOV。這遠(yuǎn)比Oculus Rift提供的FOV還要大，并且是在遠(yuǎn)高于它的分辨率的前提下。那么他們能夠夠做到這一點(diǎn)嗎？這很難說(shuō)，不過(guò)專利的確給了我們一點(diǎn)希望，同時(shí)要記住這是3年前的專利，他們肯定已經(jīng)在此基礎(chǔ)上做了更多改進(jìn)。

所謂像素間距，就是一個(gè)像素點(diǎn)中心到另一個(gè)像素點(diǎn)中心的距離，它對(duì)于分辨率是一個(gè)限制因素。傳統(tǒng)的微型顯示器，例如HoloLens使用的那種，其像素間距大約是4-5微米。這限制了這些顯示器的分辨率同時(shí)也限制了最終獲得的視場(chǎng)角。Magic Leap的專利暗示他們的光纖掃描技術(shù)能夠?qū)⑺s小到0.6微米，這幾乎減小了一整個(gè)數(shù)量級(jí)。

那么這意味著他們理論上能獲得怎樣的分辨率？他們舉例說(shuō)是4375*2300（4K），這是專利中一個(gè)區(qū)間的分辨率，而這并不是全部。因?yàn)樗麄儸F(xiàn)在已經(jīng)開(kāi)始考慮多芯光纖，用以繼續(xù)提高分辨率水平了。我相信他們能夠獲得更高的分辨率，如果我們想要更高的視場(chǎng)角，這是非常必要的。

最后，關(guān)于他們期望的視場(chǎng)角的問(wèn)題這邊有一段話有所提及：

“上面描述的這一技術(shù)將帶來(lái)一個(gè)極高分辨率的顯示器，它將為頭顯或其他近場(chǎng)顯示裝置帶來(lái)一個(gè)更大的FOV?！?/span>

我認(rèn)為這意味著我們最終會(huì)獲得一個(gè)遠(yuǎn)大于40度的FOV，不過(guò)我們也不必這么樂(lè)觀的認(rèn)為它真的能達(dá)到120度，我覺(jué)得90度就差不多了。

光子化光場(chǎng)芯片：

當(dāng)我第一次聽(tīng)到羅尼奧博維茲將他的鏡片稱為“光子化光場(chǎng)芯片”時(shí)，我不屑一顧。這不就是給某個(gè)早就存在技術(shù)重新起了一個(gè)高大上的名字嗎？不過(guò)我越是深入調(diào)查，越是發(fā)現(xiàn)它的確不是一塊普通的鏡片。那么，它究竟是什么原理？它究竟比普通鏡片牛在哪里？讓我們來(lái)討論一下衍射光學(xué)元件吧。

衍射光學(xué)元件（DOEs）可以被認(rèn)為是一個(gè)非常薄的“柔性焦距鏡頭組”，它可以進(jìn)行光束成型，光束分離和漫射或均質(zhì)化。Magic Leap利用線性衍射光柵配合圓鏡片將光波波陣面進(jìn)行分離并生成任何想要焦距的光束。也就是說(shuō)它可以將光導(dǎo)入你的眼睛并保持正確的焦平面。但是俗話說(shuō)得好，說(shuō)起來(lái)容易做起來(lái)難，而它說(shuō)起來(lái)也不容易。我讀的那份專利文件非常冗長(zhǎng)，即使?jié)饪s了也要說(shuō)好久。

為了構(gòu)建一個(gè)光場(chǎng)，Magic Leap使用了兩種獨(dú)立元件構(gòu)建一塊光子晶片。前者（圖示6）獲取入射光并將它導(dǎo)入后者（1），后者將它重定向到你的眼睛。

兩者都采用了DOEs技術(shù)。DOEs最大的缺點(diǎn)在于它只能完成非常特定的功能。它們不適用于不同波長(zhǎng)的光，它們也不能改變焦點(diǎn)。

為了解決這個(gè)問(wèn)題，Magic Leap將多種不同的DOEs層疊到了一個(gè)更大的透鏡組件，這樣就獲得了一個(gè)能夠適用于各種波長(zhǎng)和不同焦點(diǎn)的元件。這些DOEs極薄，它們與相應(yīng)光的波長(zhǎng)處在同一個(gè)尺度，所以它們的多少不影響裝置的厚度。下面就是這個(gè)光學(xué)系統(tǒng)的秘密所在。Magic Leap可以隨意打開(kāi)或關(guān)閉不同層的DOEs（應(yīng)該是微機(jī)電系統(tǒng)吧，MEMS）。這樣他們就能夠調(diào)整最終進(jìn)入你雙眼的光的光路了。最終，他們能夠調(diào)整圖像的焦點(diǎn)并獲得一個(gè)真正的光場(chǎng)。專利寫道：

“例如，裝置上的第一個(gè)DOE裝置，當(dāng)它打開(kāi)，觀看者將看到一個(gè)視覺(jué)距離在1m左右的圖像；而當(dāng)?shù)诙€(gè)DOE裝置打開(kāi)的時(shí)候，又會(huì)產(chǎn)生一個(gè)視覺(jué)距離在1.25m的圖像?！?

看起來(lái)如果我們想要獲得全范圍的焦平面圖像，這個(gè)裝置必須集成不計(jì)其數(shù)的DOE層，這不是限制非常大嗎？實(shí)際上并非如此。不同DOEs組合使用也會(huì)產(chǎn)生不同的輸出效果。所以這并不是一個(gè)DOE生成一個(gè)焦平面，而是一個(gè)DOEs組合生成一個(gè)焦平面（高中學(xué)過(guò)排列組合吧，這個(gè)數(shù)目是非常巨大的）。

下面的一個(gè)GIF動(dòng)畫展示出了這個(gè)光子化光場(chǎng)芯片的運(yùn)作原理。實(shí)際的層數(shù)肯定比動(dòng)畫演示的要多，至于究竟有多少，我不知道。

最后，我們來(lái)看看Magic Leap過(guò)去聲稱的用光來(lái)產(chǎn)生黑色效果是如何實(shí)現(xiàn)的吧。如果我們?cè)阽R片的外緣和內(nèi)緣各放置一個(gè)DOE，我們就可以用它們來(lái)抵消掉外界光（波長(zhǎng)相同，相位相反），這個(gè)實(shí)際上跟耳機(jī)降噪的原理是一樣的（或者說(shuō)跟某大爺用低音炮抵消廣場(chǎng)舞噪音相同）。文件描述：

那么，為什么我們把這個(gè)稱為芯片？典型的電子芯片可以根據(jù)需要改變電子流。而光子化光場(chǎng)芯片可以根據(jù)特定的參數(shù)改變光子通路，我覺(jué)得它可以算作是一種光子芯片了。

接下來(lái)還有什么需要解釋的？我們有了一塊光子化光場(chǎng)芯片，一個(gè)高分辨率的投影儀，但是我們到底是如何生成這個(gè)圖像的呢？它是通過(guò)合成來(lái)實(shí)現(xiàn)的。這個(gè)圖像是分層的，然后不同的組件在一個(gè)基礎(chǔ)平面上投射出不同焦距的圖像。也就是說(shuō)，單單一幀畫面就由多層組合而成，每一個(gè)焦平面都是單獨(dú)的。

相機(jī)：

Magic Leap在相機(jī)技術(shù)方面要滿足3個(gè)目標(biāo)。第一個(gè)是顯而易見(jiàn)的，一個(gè)能夠拍攝尋常畫面的相機(jī)。這個(gè)就是普通相機(jī)技術(shù)所追求的，他們使用普通智能手機(jī)中的傳感器就可以實(shí)現(xiàn)了。不管最終這個(gè)攝像頭是裝在眼鏡上也好，還是裝在獨(dú)立元件上也好，總之我們可以用它來(lái)拍攝正常的圖片。

而另兩個(gè)應(yīng)用案例就比較有意思了。一直以來(lái)，Magic Leap都不斷宣稱他們的設(shè)備具備理解周圍環(huán)境的能力。在一次采訪中，他們提到這個(gè)裝置能夠識(shí)別物體，例如一把刀或一個(gè)叉子。為了做到這一點(diǎn)，他們需要一組相機(jī)。在這一點(diǎn)上，我們可以以HoloLens為例，它在這方面實(shí)現(xiàn)的相當(dāng)不錯(cuò)。HoloLens擁有一組4個(gè)環(huán)境感應(yīng)攝像頭配合一個(gè)景深相機(jī)。讓我們來(lái)看看Magic Leap專利文件的圖片。

這個(gè)圖片展示了分布在眼鏡左右兩個(gè)鏡腿上的兩個(gè)組件。上面的是左鏡腿，下面的是右鏡腿。我們可以在圖中看見(jiàn)兩個(gè)朝外的攝像頭，標(biāo)有“world camara”字樣。同時(shí)，文件暗示了可能實(shí)際上不只有兩個(gè)（每側(cè)各有一個(gè)或多個(gè)攝像頭）。目前，我們不知道究竟會(huì)有多少。我們知道的是會(huì)有若干個(gè)攝像頭安裝在眼鏡上，而它們對(duì)于SLAM的最終效果至關(guān)重要。

最后一個(gè)應(yīng)用也能在上面的圖中看到。至少有2個(gè)攝像頭會(huì)指向你的眼睛。這是用來(lái)實(shí)現(xiàn)眼球追蹤的，這樣設(shè)備才能知道你的焦點(diǎn)和方向落在什么位置。還會(huì)有一個(gè)紅外LED燈珠安置在你的眼睛上方，這樣攝像頭才能檢測(cè)到你的眼睛的動(dòng)作。這個(gè)眼球追蹤功能對(duì)用戶界面也非常重要。我認(rèn)為在于Magic Leap設(shè)備的交互中，“你在看什么？”是非常重要的。它很有可能取代普通電腦中鼠標(biāo)的作用。

說(shuō)了這么多，其實(shí)最終仍然只是我的猜想，我也絕對(duì)不可能去證實(shí)這一點(diǎn)（Magic Leap保密制度）。但是我認(rèn)為所有的這些觀點(diǎn)都是有理有據(jù)的，它應(yīng)該非常接近Magic Leap的最終產(chǎn)品了。不管Magic Leap最后有沒(méi)有獲得商業(yè)上的成功，它也是最近這么些年難得一見(jiàn)的真正意義上的技術(shù)革命。我非常想知道他們最終能夠走到什么地步。

另外，要說(shuō)Magic Leap有什么缺失的功能，那大概就是表情（面部）識(shí)別了，其原理上應(yīng)該與眼球追蹤差不多。

這篇文章的英文原文在Magic Leap-focused博客（Twitter: @gpuofthebrain）。