當前位置: 華文問答 > 遊戲

Niantic研究:大振幅提高手機AR 3D對映的深度感知能力

2021-07-14遊戲

檢視參照/資訊源請點選:映維網

將透過Niantic Lightship ARDK將這一尖端技術立即提供給所有AR創造者

映維網 2021年07月13日 )Niantic最初成立的目標是將增強現實技術帶到大家實際使用的器材,包括智能電話。這種對可用器材的關註幫助AR獲得了大量使用者:【Pokémon GO】的下載量已經超過10億次,並因「重塑遊戲」而評為蘋果2020年度套用之一。全球數以千萬計的Niantic探險家正在暢玩這家工作室的遊戲。

Niantic遊戲的成功促使團隊為第三方開發者開發了一個先進的AR平台。Niantic Lightship極大地簡化了AR開發,允許創意團隊能夠專註於設計腦海中的遊戲和體驗,而不是擔心啟用程式碼、網絡、平台和器材。為了推動AR的發展,團隊不斷用新技術和最佳化技術來叠代Lightship。

這家公司日前宣布,研究團隊在AR技術方面的重大突破極大地提高了智能電話在AR和3D對映方面的深度感知能力,而工作室將透過Niantic Lightship ARDK將這一尖端技術立即提供給所有AR創造者。

Niantic指出,這項全新的深度技術將能為更多器材帶來更好、更沈浸式的AR體驗,同時賦能使用者協作構建世界最精確的3D對映。

1. 使用2D網絡攝影機來感知3D深度

智能電話網絡攝影機通常只能用2D而不是3D來捕捉世界。之前沒有一種簡單的方法可以透過普通智能電話的2D網絡攝影機來進行即時高質素的3D對映,而且很少有手機內建了3D激光雷達深度傳感器。

所以,Niantic研究團隊在軟件方面創造了一個獨特的解決方案,透過推斷傳統2D照片中隱藏的3D形狀來訓練智能電話感知深度。利用先進的機器學習技術,最新的影像深度技術可以從單個2D影像中確定物件的深度。另外,當使用者移動手機並收集更多影像時,神經網絡會增強三維深度對映。

相關論文 :The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth

這項創新的綽號是ManyDeph,因為它使用一個RGB網絡攝影機從一個或多個影像中建立大量的深度對映,而這是在3D對映世界的關鍵。ManyDeph有效地克服了諸如移動物件、縮放模糊和全靜態網絡攝影機等挑戰。它允許多視點深度網絡能夠在沒有ground-truth深度數據的情況下得到有效訓練。

Niantic的首席研究科學家Gabriel Brostow補充說:「我們的自監督軟件可以作為LiDAR的替代或補充,這意味著它非常適合你的手機或可穿戴器材。」

2. 具有無限潛力的3D對映

數年前,Niantic研究團隊將全球規模的技術挑戰轉化為使命:構建最新的地球3D對映。你能想象一下建立一張全世界的數碼3D對映需要什麽嗎?你需要從哪裏開始收集所有的對映數據呢?

為了迎接這一挑戰,團隊開始構建客製工具,然後透過收購包括Matrix Mill和6d.ai在內的優秀研究人員和開發者來擴充套件對映團隊。團隊非常清楚,構建一個大規模的、經常更新的對映需要全球協作,而且可以顯示3D對映的器材需要可以透過正確的軟件來構建3D對映。

Niantic的新深度技術能夠允許普通智能電話為各個地點建立3D對映網格,這樣使用者就可以幫助貢獻世界規模的對映,而且方法就像人們今天分享照片一樣簡單。當Niantic的使用者暢玩AR遊戲時,其可以選擇動態擴充套件和改進每個人用於混合現實體驗的全球對映。

考慮到Niantic目前的產品陣容,你可能會期望新的深度技術能夠將虛擬物件更令人信服地融入現實世界,從而幫助AR對映應用程式和遊戲。除了在公共空間內建立數碼標誌和引導箭頭外,這項技術同時可以支持使數碼角色能夠正確縮放,出現建築物的側面、從墻壁上彈跳並隱藏在角落裏等。

但這只是個開始。隨著Niantic的合作夥伴使用Lightship構建應用程式,你將看到新的Niantic深度技術賦能體育團隊、音樂家和藝術家透過沈浸式、基物數碼內容來增強體育場館和美術館。

3. 開源開放

團隊的研究依然在繼續,而研究人員表示非常高興能將新的Niantic深度技術交到世界各地的開發者。如果你希望自行測試,請存取相關的GitHub頁面。

---
原文連結:https:// news.nweon.com/87509