Hololens混合現(xiàn)實開源工具包——MRTK-Unity

微軟的混合現(xiàn)實工具包(MRTK)是一個開源的工具包,自2016年HoloLens首次發(fā)布以來就一直存在。

MRTK是一套帶有插件、樣本和文檔的組件,旨在幫助使用虛幻引擎或Unity的游戲引擎開發(fā)MR應(yīng)用程序,提供兩個版本的解決方案–MRTK-Unity和MRTK for Unreal。

為MR開發(fā)者了解MRTK-Unity工具箱
微軟驅(qū)動的MRTK-Unity是一套組件和功能,用于加速在Unity中創(chuàng)建跨平臺的MR應(yīng)用程序。

它是一個可擴(kuò)展的框架,允許開發(fā)者改變其基本組件,并提供一個跨平臺的輸入系統(tǒng)和用戶界面(UI)動作構(gòu)建元素。

它還通過允許即時查看變化的編輯內(nèi)模擬提供快速的原型設(shè)計。MRTK-Unity的主要特點之一是,它通過支持一些平臺來幫助實現(xiàn)互操作性,包括。

  • OpenXR(Unity 2020.3.8以上) – 微軟HoloLens 2和Windows混合現(xiàn)實頭盔
  • Windows混合現(xiàn)實–微軟HoloLens、微軟HoloLens 2和其他Windows混合現(xiàn)實頭盔
  • Oculus(Unity 2019.3或更新版本)–Oculus(現(xiàn)在的Meta)Quest
  • OpenVR – Windows混合現(xiàn)實頭盔、HTC Vive和Oculus Rift
  • Ultraleap Hand Tracking – Ultraleap Leap Motion控制器
  • 移動VR – iOS和Android

主要特點與功能

1、輸入系統(tǒng)
通過輸入事件,用戶可以配置應(yīng)用程序來接收來自一些輸入源的輸入–6度自由(6DoF)控制器、關(guān)節(jié)手和語音,以及選擇或菜單,功能,并將它們與各種輸入相關(guān)聯(lián)。此外,設(shè)置指針可以被添加到控制器中,以便通過注意力和指針事件管理UI元素。

2、配置文件
MRTK整合了盡可能多的設(shè)置,默認(rèn)鎖定了設(shè)置頁面,以保證你的項目始終有一個一致的起點,并鼓勵用戶隨著項目的進(jìn)展開始定制設(shè)置。這些配置文件包括典型的設(shè)置,如邊界系統(tǒng)、攝像機(jī)設(shè)置、遠(yuǎn)距傳輸和空間感知,等等。

3、UI控制
有一些用戶體驗構(gòu)建塊構(gòu)成了UI控件,其中包括。

  • 按鈕–支持多種輸入模式,包括HoloLens 2的鉸接式手控器
  • 物體操縱器–用于用一只或兩只手操縱物體的腳本
  • 交互式 – 用來實現(xiàn)交互式的腳本,支持主題和物體的視覺狀態(tài)
  • 對象收集 – 用于安排3D資產(chǎn)的腳本
  • 滑塊 – 用戶界面滑塊,用于改變支持直接手部追蹤的設(shè)置。
  • 工具提示 – 注釋用戶界面包括一個靈活的錨點/支點機(jī)制,用于標(biāo)記運(yùn)動控制器和其他項目
  • 語音命令–納入語音輸入的例子和腳本
  • 手部物理服務(wù)(實驗性)–手部物理服務(wù)允許物理對象和動畫手之間的互動
  • 碼頭(實驗性)–允許用戶操縱物體進(jìn)出指定的地方
  • 進(jìn)度指示器 – 用于傳達(dá)數(shù)據(jù)過程或操作的視覺指示器
  • 此外,還有眼球追蹤的控制:目標(biāo)選擇、導(dǎo)航和熱圖。

4、解算器
解算器是協(xié)助計算物體的位置和方向的元素,它基于預(yù)定的算法,為物品和系統(tǒng)提供各種附著行為,如基于攝像頭跟蹤用戶周圍的物品。一個解算器可能潛在地連接到一個控制器和一個實體,以使物體跟隨控制器。所有的解算器都可以安全地分層,如標(biāo)簽式行為加上表面磁力和動量。

5、空間意識
在MR應(yīng)用中,空間意識系統(tǒng)通過提供一組代表環(huán)境幾何形狀的網(wǎng)格來提供現(xiàn)實世界中的環(huán)境意識,使全息圖像和實際世界之間的交流變得耐人尋味。

6、診斷系統(tǒng)
混合現(xiàn)實設(shè)備套件診斷系統(tǒng)提供了在應(yīng)用程序內(nèi)部操作的診斷工具,以分析應(yīng)用程序的故障。MRTK-Unity的診斷系統(tǒng)初始版中包含了Visual Profiler,以實現(xiàn)對應(yīng)用程序性能問題的分析。