就在前幾天,谷歌正式發布增強現實軟件工具開發包ARCore 1.0,上億安卓手機將擁有AR功能。在蘋果ARKit推出半年之后,谷歌終于與蘋果正面開戰。

在手機AR上,相比蘋果,谷歌似乎成了后來者。

而其實,ARCore的前身——谷歌Tango早已面世幾年,谷歌才是智能手機AR的開創者。蘋果搶先推出在大量設備上使用的ARKit,使得谷歌迫于壓力停止Tango項目,轉而推出ARCore??雌饋硐裰皇歉牧藗€名字,但是也意味著谷歌在Tango上的心血和希冀也大部分付諸東流。

雷鋒網特意梳理了Tango項目的前因后果,加入多位業內人士觀點,與您一起聊聊:谷歌砸重金的創新項目Tango為何行不通,以至于被蘋果搶了先機?谷歌Tango項目還有哪些可能,能給我們哪些啟示?

超前的Tango:定義下一代智能設備

谷歌原本是想定義下一代智能設備。

2014年2月,谷歌先進技術和項目團隊(ATAP)發布名為”Project Tango“的新項目,以計算機視覺技術為智能手機添加運功追蹤、3D感知功能。

項目負責人Johnny Lee表示:“我們的目標是讓移動設備擁有和人類一樣的空間和運動感知能力,以增強和創造新的用戶體驗?!薄斑@個手機配置了一些能繪制完整3D的硬件和軟件,它可以精確描繪關于周圍環境的3D地圖。其中的傳感器速度可以快到實時更新周圍的地理位置,并將這些數據迅速轉換成3D模型?!?/p>

Tango有三大核心組件:

  • 運動追蹤(Motion Tracking):通過移動設備自帶的多種傳感器,在不通過外界信號的情況下(例如GPS,WiFi,藍牙Beacon等),實時獲取設備的姿態與位置(6Dof)信息。這是Tango的核心功能,其技術實現方式是:tango使用視覺+慣性器件,實現了VIO(visual-inertial odometry)算法。
  • 深度感應(Depth Perception):利用自帶的深度傳感器掃描外界三維環境,生成點云,構筑三維模型。
  • 環境學習(Area Learning):可以被視作是motion tracking的增強,它可以將之前走過的路徑記錄下來,自動矯正環境構建與運動追蹤中積累的誤差,識別重復環境,減小誤差。

Tango無疑在軟件和硬件上都很有技術含量。

在凌感科技CTO馬賡宇看來,“Tango之前,基于視覺的3D運動跟蹤和場景建模還只是一個學術研究題目,可以做些demo,但是沒有能實際應用的系統。谷歌投入了大量精力,為3D運動跟蹤和場景建模專門設計了傳感器和移動計算平臺,把停留在紙面上的技術變成了能廣泛應用的產品,使得移動AR成為可能?!?/p>

Tango并不是真正的產品,而是一個品牌名。Tango 是一個在規定的硬件標準下運行的軟件程序,其規定了RGB、魚眼鏡頭、深度相機、CPU/GPU規格等硬件參考設計,還涉及VIO(運動跟蹤),稀疏映射(區域學習)和密集 3D 重建(深度感知)等軟件。谷歌還與Movidius合作,為Tango打造了獨特的視頻處理芯片Myrid VPU,該芯片助力復雜的Tango算法能在手機上流暢運行。

谷歌沒有把Tango的技術授權給任何第三方,想使用Tango只能去購買谷歌官方支持的幾款硬件。

(The Yellowstone Tablet)

谷歌發布了幾款硬件來主導Tango手機,第一款是2014年初的”花生“手機(The Peanut),第二款是”黃石“平板(The Yellowstone Tablet)。Tango平板售價起初為1000美金左右,而后降低至500美金,總共賣出1000臺左右,主要面向開發者。

(聯想Tango手機)

2016年6月,谷歌與高通合作開發消費級Tango手機,取消了Tango平板上有的視覺處理芯片,也取消了對深度相機的要求。同年,聯想發布第一款搭載Tango的智能手機——聯想Phab2 Pro,采用高通驍龍652芯片,售價400美金。隨后,2017年,華碩與谷歌合作,推出了支持Tango的ZenFone手機。從2014年到2017三年的時間里,我們也僅看到幾款支持Tango的手機,而這些手機設備也沒有引起市場太大的關注。

Tango催生移動AR,卻為何“賣不出去”

“看起來很酷,但是究竟要怎么用呢?“這是不少人對谷歌產品的感覺。

Tango究竟要用來做什么?雖然現在ARCore很明顯就是AR開發平臺工具,但是Tango一開始其實定位為3D感知手機,谷歌一直介紹Tango是一款——“知道自己在哪兒的手機”?;谶\動追蹤和空間感知功能,谷歌一開始希望用Tango來解決室內導航的問題,在室內無法使用GPS的時候,不依靠任何外部的設備,就能提供設備的定位。

Tango與AR/VR發生關聯的重要信號在于:2016年11月,Tango項目從先進技術和項目團隊(ATAP)轉移到了Daydream部門。負責人Johnny Lee表示:Tango 團隊將會和 Daydream 團隊協調合作,兩個團隊的工作將會由谷歌 VR 部門的負責人 Clay Bavor 統一管理,并且 Clay 則會直接將工作匯報給谷歌CEO Sundar Pichai 。

2016年是VR的元年,HTC、Oculus、PSVR幾大高端頭顯發布,Pokemon Go的火爆也讓大家對AR充滿期待。Tango技術開始越來越多地應用于AR。

2016年底,在谷歌與聯想合作舉辦的Tango開發者大賽上,谷歌Tango項目的研發工程師郭旭曾說:Tango技術的一個最關鍵優勢就是易于普及,“目前,如果要推廣其他的VR/AR平臺,開發者一般都需要花費幾百美元或者上千美元去購置一套設備。但是Tango不同,它借助一個現有的智能手機平臺,如果推廣開來,可以很容易地達到一個非常高的市場占有率,而且像安卓一樣是免費的。更重要的是,隨著用戶數和開發者數量的持續增長,Tango將對整個AR/VR行業產生一個積極的推動作用?!?/p>

在馬賡宇看來,“Tango是第一個能實現AR功能的手持設備。它證明了手機AR可以達到以假亂真的效果。是一個具有跨時代意義的產品。很多用戶和開發者,都是通過Tango第一次體驗到了AR的神奇?!?/p>

然而,在2016年底,聯想Phab2 Pro發布時,Google Play商店中有僅有為數不多的幾款Tango設計的應用:AR虛擬家居擺設、AR游戲、AR博物館等。Tango無疑是第一個能在智能手機上支持AR的平臺,可惜,卻沒能早早地普及到大規模設備,也沒有火爆的應用誕生。

Tango為什么賣不出去?

馬賡宇分析到:“Tango手機的研發成本高。需要特殊的硬件。而且算法需要針對不同的CPU進行優化。同時由于Tango手機少,開發者開發AR內容的熱情不高。導致用戶沒有購買意愿。又進一步降低廠商研發Tango手機的熱情?!?/p>

硅谷投資人Matt Miesnieks分析到,三年來,僅有屈指可數的幾款手機搭載了Tango,其原因可能是:谷歌公司不想為每家 OEM 都進行特定的傳感器校準過程,且隨著 Android 智能手機硬件商品化,相機和傳感器堆棧是 Android 手機最后實現差異化的地方,所以 OEM 廠商無法滿足谷歌的要求。谷歌認為,深度相機是手機的一部分,但是深度相機增加了手機成本,這也是 OEM 廠商拒絕 Google 的另一個原因。

蘋果搶占先機

Tango發展緩慢,而蘋果借助ARKit,搶先在所有iOS設備中上線了AR功能。AR真正變得進入大眾用戶,以大量的硬件設備持有來支持消費市場的內容開發。

2017年6月,蘋果在WWDC上公布了自己邁入 AR 領域的第一步——針對 iOS 11 推出 ARKit,使得上億設備瞬間擁有AR功能。開發者不需要任何別的工具,就可以輕松利用ARKit開發AR應用。蘋果CEO庫克認為AR是等同于智能手機一樣重大的創新,會給人生活帶來巨大的影響,而蘋果ARKit將和App Store一樣成功。ARKit一推出就備受關注,短短半年時間,App Store中就有超過三千款基于ARKit的AR應用。

2017年9月,谷歌發布ARCore,與蘋果分庭抗禮,然而由于晚到一步,谷歌成為了蘋果尷尬的追隨者。

“12 個月前,Google 本就可以輕松交付能夠在 Android 系統上運行的 Tango手機,但 Google 沒有這樣做。如果 Google 早早將 Tango 發貨 ,那么 ARKit ?的問世也只是緊跟趨勢,而非重大突破?!癕att不由得感嘆。

Matt指出,ARKit的基礎技術是視覺慣性測量(VIO)系統、簡單的2D平面檢測。ARKit可以被看成輕便的SLAM系統,可以將3D虛擬物體放置在真實的平面中,使得虛擬物體在平面上運動,還可以追蹤用戶的相對運動。

ARKit核心的VIO系統和谷歌Tango沒有區別,ARKit能實現的功能和Tango也幾乎一樣。但是,顯然,蘋果在軟件和硬件的整合上,甩了谷歌幾條街。Matt認為ARKit的優勢在于蘋果公司可以負擔得起將 VIO 算法緊密耦合到手機傳感器上,并花費很多時間來校準 VIO 系統,以減少計算空間位置時產生的誤差。

賽格威機器人研發高級總監陳子沖分析到:“單目的VIO都需要每臺手機有標定的流程。蘋果的手機因為是標準化的,一共只有幾個型號,所以他顯然做得更容易一些。Google要在android生態中要推廣普通相機使用VIO,那就要解決這個標定問題,可能是通過某種自適應方法,使得這個步驟可以免除。但是仍然,他需要一家一家去測試,畢竟每家手機的攝像頭和IMU型號和位置都不一樣。所以你看他是一批一批的支持Android手機?!?/p>

庫克在接收英國獨立報采訪時,更為簡潔地指明了ARKit的先發優勢:“蘋果公司自己打造手機制造軟件和硬件,這使得它在AR和其他領域都處于獨一無二的優勢地位。谷歌也在對它的Pixel手機系列做同樣的事情,并整合了良好的虛擬現實功能,但這些手機的銷量并不大?!?/p>

谷歌的AR技術積累早于蘋果,但是由于沒有整合好軟硬件,被ARKit搶占了先機。此時,谷歌顯得十分尷尬,要么推出單目AR SDK,要么強推Tango讓安卓手機硬件升級。

Tango推出三年,也僅獲得幾款手機支持,谷歌現在明顯只剩下推出單目AR SDK這條路。2017年8月,谷歌在新品發布會上展示了ARCore開發者預覽版,可以支持Samsung S8和 Pixel系列手機,正式與ARKit開戰。ARCore被看作是輕量級的Tango,有業內人士認為,谷歌看起來只是注釋掉了Tango深度相機部分,換了個名字。

前文介紹到,Tango有三大核心組件——運動追蹤、深度感知、環境學習。由于減少了深度相機和一些傳感器,ARCore保留了運動追蹤和一部分的環境偵測功能,其深度感知,3D建模的能力則不如Tango,而這曾經是Tango最黑科技的一部分。

Tango項目停止,ARCore登場

2017年12月,谷歌停止Tango項目,全力支持ARCore。

谷歌發文解釋到:“自 2014 年開始,我們一直在關注 AR 研發,并且推出 Project Tango。從 Tango 中我們積累了不少經驗,將其應用于 ARCore 的研發中。遺憾的是,Tango 需要定制硬件,而 ARCore 是一個快速和高性能的,可廣泛應用的 SDK 工具,能為數百萬臺符合要求的移動設備實現高質量的 AR 效果……由于我們將關注點從 AR 技術本身轉移到整個以 ARCore 為主的安卓生態系統,所以我們決定將停止支持 Tango?!?/strong>

也就是說,在長達三年的技術探索之后,谷歌Tango的軟硬件參考設計行不通之后,谷歌要將ARCore開放給更多的安卓設備了。

而就在前幾天,谷歌宣布正式發布ARCore 1.0,可運行于13種不同型號、超過一億臺的智能手機。這13款手機包括:谷歌Pixel,Pixel XL,Pixel 2,Pixel 2 XL;三星Galaxy S7,S7 Edge,S8,S8+,Note 8;LG V30,V30+;華碩 Zenfone ;One Plus 5。谷歌也正與包括華為、摩托羅拉、華碩、小米、HMD/諾基亞、中興、索尼和 Vivo 在內的多家智能手機廠商展開合作,在他們將推出的產品中搭載 ARCore。

簡化Tango,推出ARCore是谷歌不得已之舉,這意味著承認Tango項目的失利,并且承認蘋果ARKit搶占了先機,正確地引領了手機AR之路。

但是,谷歌或許也得感謝蘋果打開了手機AR的市場,為Tango日后的發展奠定基礎。雖然說,谷歌停止了Tango項目,放棄了以Tango為品牌打造智能設備的策略,但是并不等于谷歌會放棄繼續發展Tango的核心技術,用于ARCore的升級,以及其他的創新產品。

馬賡宇談到:”蘋果突然發布ARKit產品,性能與Tango相近,而且可以在普通手機上實現。使得還需要特別硬件的Tango方案失去了市場競爭力。Tango優于ARkit的一點是它還可以實現場景的3D建模。在一些低紋理區域可以工作的更好。而且在未來的AR應用中可以給用戶更多的信息。傳聞蘋果也在考慮加裝后攝的深度攝像頭,未來的硬件可能跟tango類似?!?/p>

陳子沖認為:“從Tango到ARCore,谷歌全面轉向了AR這個業務需求,致力于在所有的Android手機上提供給AR的SDK。在技術上是一個平移,在業務上是一個拓展(從原來少數幾款手機推廣到整個Android生態。國內相關的手機公司大概率會和谷歌合作,獲得ARCore的支持。對于從事VR的公司也是利好,可以通過極少的技術投入,以很低的成本(android+攝像頭)實現一個6軸的VR頭盔?!?/p>

雖說現在蘋果ARKit搶先幾個月發布,但是這種領先估計也只能說先走了半步。ARKit 1.5 和ARCore 1.0都還是初代產品,不少開發者對雷鋒網表示,無法用它們做出很驚艷的產品。而不少開發者心中理想的AR開發工具還需要具備:更強大的環境理解功能、實時3D重建、多人交互、語音識別等,才能達到真正的虛擬與現實融合。目前,我們確實還沒有看到爆款的AR應用。

雖然蘋果不升級硬件,搶先了半步,但是硬件升級或許是必然的。UCVR CEO胡金暉談到:“谷歌停止Tango,推出簡化版ARCore,策略上可能打算曲線救國。這些手機OEM廠商覺得Tango方案又貴,又要重新設計主板,不想采用,那就干脆先把軟件技術集成到現有手機上,等大家適應了也用慣了AR手機,想要更高端的時候,只要在上面加個深度傳感器就好了?!奔夹g總是不斷更新迭代的。

未來,Tango會復活嗎?

從技術史來看,從沒有一個憑空冒出來的創新技術,新技術一般是舊技術的組合創新。Tango也是一些技術組合而成,Tango項目的停止,并不會終結這些核心技術的可能性。

這一切,可以從微軟Kinect說起。

2010年,微軟為Xbox 360特意打造了Kinect。Kinect配有深度攝像頭和語音識別麥克風的硬件,可以識別空間、人體動作,且支持語音控制,xBox立馬變身體感游戲機,增添了很多創新的玩法。

微軟Kinect是人機交互領域跨時代的作品,在此前,人機交互一直是以機器為中心的,人類學習機器的語言去和機器交流。微軟Kinect首次讓機器學會理解人類,理解人類世界。Kinect是微軟為了填補人體和設備界面之間,超越鍵盤、鼠標、觸控屏極限的一次偉大嘗試。

在雷鋒網此前文章《微軟的Kinect停產了,但它為今天的VR/AR做了很多貢獻》一文中曾寫到:

自 2010 年來,蘋果仿效 Kinect 語音控制功能,推出了 Siri 語音助手;谷歌也開始了 3D 追蹤系統 Project Tango(該項目的領導者是曾經研發 Kinect 的 Johnny Lee)。視覺和語音系統幾乎成了智能手機的標配,也逐漸進入我們的家居領域。亞馬遜 Echo 將語音助手帶進爺爺奶奶的臥室。新一版的 Echo Show 還在 Alexa 上加裝了攝像頭。

谷歌Tango項目起源于Kinect,命運也和Kinect相似。作為開創性的產品,Kinect的黑科技難以擴展應用場景,被市場接受。微軟停止Kinect項目,但是并沒有停止Kinect相關技術的研發。

商詢科技CTO鄔浩告訴雷鋒網:“Kinect二代停產,也僅僅是用于xbox的Kinect硬件設備賣的不好,所以硬件不再生產了,但Kinect技術線是一直持續的。HoloLens自身屬于Kinect四代技術,而Kinect五代技術一直在研發中,并且已經就要發布了,而這就是HoloLens二代?!?/p>

即便是硅谷消息最靈通的科技記者,也經常不知道幾大科技巨頭公司都有哪些部門,每個部門實際上在從事著什么樣的研究。在雷鋒網(公眾號:雷鋒網)看來,Tango項目雖然停止了,但是其后續影響力肯定還將持續。

谷歌在Tango的技術積累可以幫助ARCore更新迭代,這自然不必再說,Tango還有其他更多的炫酷應用。

iPhone X人臉識別

(iPhone X原深度攝像頭系統)

2017年10月,蘋果發布了iPhone X,其最大的特色是增添了一個擁有數十顆傳感器的”原深度攝像頭“。這個攝像頭可以實現人臉識別,使得人臉解鎖代替指紋解鎖,同時還可以實現人臉3D重建,方面AR貼紙功能。iPhone X的深度攝像頭用到是和Kinect、Tango一樣的結構光技術。

目前,3D機器視覺獲取深度信息的辦法主要有三種:結構光、TOF 時間光、雙目立體成像。Kinect一代和Tango一代采用結構光的方法,2013年蘋果收購了Kinect的開發商PrimeSense,Kinect二代和Tango二代都改為采用TOF感知深度信息。

榮耀V10發布會,華為宣布正在開發“占云深度攝像頭”

去年11月,華為在榮耀V10發布會上,推出“點云深度攝像頭”散班結構光手機配件,可以感知用戶臉部的深度并對臉部建模。據雷鋒網了解,華為不僅會做前置的深度攝像頭,也會做后置攝像頭。另有消息,小米和OPPO將在明年發布的智能新機中,使用3D感應的面部解鎖方案。

雖然現在前置的原深度攝像頭主要用于人臉識別,相信日后我們會看到更強大的可以理解環境、理解物體的深度攝像頭。Tango首先讓人們看到了搭載深度攝像頭的智能手機的潛力,iPhone X的人臉識別讓這個技術先一步普及,未來,深度攝像頭將成為智能手機的標配。

工業機器人

2014年,谷歌Tango就曾被用在NASA的空間站機器人SPHERES上,幫助機器人執行通訊、拍照、和處理能力。在裝上Tango之前,SPHERE可以做的事情僅僅是在空間站里飛來飛去,借助Tango的運動追蹤、環境感知能力,這些機器人可以從事修理、運輸、搜尋物品的工作。如果NASA采用定制的深度攝像頭將會比Tango貴1000倍,真是節省了不少錢。

Tango的技術可以對機器人領域有所助益。在機器人領域,感知環節是進展緩慢且相對薄弱的環節。傳感器和環境感知技術的進步,會使得機器產業有較大的跳躍。

總結

谷歌很多的產品都相當的酷,例如Google Glass,例如Tango。而這些產品似乎都有一個共同的問題:Google還沒有想好要怎么用,不過這是大多市場引領者都會面臨的問題。谷歌雖然停止了Tango項目,但是我們現在看到了ARKit和ARCore的分庭抗禮。俗話說,走的人多了,自然就有了路。隨著更多玩家的加入,AR的發展會越來越清晰,谷歌之前借Tango暢想的新一代智能設備,也變得更加切實。