AR風向

#092

AR/VR體驗優化─手部追蹤技術的導入

精確度的提升,操作流程的簡化

(圖片來源: Nreal)

藉由閱讀《2020年AR/VR產業發展趨勢(上)AR擴增實境篇》《2020年AR/VR產業發展趨勢(下)VR虛擬實境篇》,我們可以得知目前AR/VR在各領域的應用都呈現穩定快速的發展,加上其他科技的進步,也使AR/VR的運作方式更加豐富完整。

在這些技術當中,除了近幾年來積極發展的5G技術,手部追蹤技術的改善對AR/VR的發展也能夠帶來正面的影響。

AR/VR體驗優化 | 手部追蹤技術Hand Tracking

手部追蹤技術藉由感應器與接收器測量人類的動作,不過手部的動作複雜且細微,就算擁有多個感測器也難以保證可以完美捕捉所有的動作,但鑒於手部追蹤技術的精確度將會大大影響用戶體驗AR/VR時的感受,許多企業依舊願意投入資源研發,改善AR/VR與使用者之間的互動品質。

Oculus去年在VR/AR大會「Oculus Connect 6」即發表了新型手部追蹤技術,讓使用者沉浸在VR世界中時可以直接用手進行捏、指、選擇等動作,使整個虛擬世界的體驗更加逼真。

Google AI實驗室推出的手部追蹤技術也可以藉由分析關節位置、指尖手掌距離、角度大小等數據,來推測手勢,除了適合用於需要大量手勢的VR體驗,在未來也有機會讓智慧型手機具備手語的即時翻譯功能。

(圖片來源:ithome.com)

手部追蹤技術讓VR體驗不再需要使用實體的操作器,這也使整個操作體驗更加自由與簡單,如今,使用者唯一要做的事就是揮動他們的手。VR開發者Daniel Beauchamp也創造出一系列的模板,用簡單的方式幫助人們了解「手部追蹤技術改善使用者互動性」的趣味應用。

手部追蹤技術的AR/VR應用 | AR虛擬珠寶佩戴、VR員工訓練

AR虛擬珠寶佩戴

AVRSPOT公司運用手部追蹤技術輔助消費者選購合適之珠寶,讓消費者不須走到實體門市內,就可以知道戒指與手鐲佩戴在手上的感覺,以此增加消費者在線上購買之意願,提升店家之銷售額。

此服務適用於iOSAndroid系統,且整個配戴流程簡單,手部追蹤技術會自動偵測消費者的手,並將飾品配戴在合適的地方,所以消費者唯一要做的事情就是掃描他們的手,並選出最適合他們的產品。

雖然AVRSPOT的手部追蹤技術並無法提供消費者一個非常趣味且沉浸式的體驗,但是卻可以幫助他們有效辨別珠寶實際佩戴的效果,以此做出最正確的購買決策。

VR員工訓練

Visual Engineering公司設計出結合了手部追蹤技術的VR訓練系統VE Gamified Simulator(G-SIM),讓員工訓練過程與VR虛擬實境整合,確保他們可以安全的操作複雜危險的工作。

手部追蹤技術的結合則讓員工可以直接用雙手操作所有的機器設備,彷彿真的用雙手拿起機器配件,使整個訓練流程帶來更優異的效果。同時訓練過程中,系統也會適時顯示虛擬的提示訊息,輔助員工操作。

G-SIM系統的VR虛擬訓練方式有助於降低公司的訓練成本,減少實際需要購買的機器設備數量,手部追蹤技術的導入也使整個訓練流程更加逼真,為整個公司帶來正面之影響。

Nreal light AR眼鏡增加手部追蹤技術 | 與Clay AR合作推出

去年,中國北京廠商Nreal開發出AR眼鏡Nreal light,並在去年年初的CES上大獲好評。今年3月初,Nreal宣布與Clay AR合作,將複雜且精確的手部追蹤技術添加至Nreal light AR眼鏡,讓使用者只需使用幾種手勢,即可進行互動。

Nreal light仍然支援硬體的操作器,Nreal的創始人兼CEO徐馳表示:「Clay AR提供的手部追蹤系統,帶給開發者與一般消費者更多的靈活性與互動。」

根據Clay AR表示,結合手部追蹤技術後除了可以不需要額外的硬體設備,精確度也高達96%。戴上眼鏡後使用者可以看到不同社群平台的AR圖像(FacebookYouTubeNetflix),而只要用手指指向圖像,社群平台就會被直接開啟。另一個互動中也顯示使用者只要握拳、打開手掌、捏一下,即可操作複雜的3D機器模型

(圖片來源: Clay AR)
(圖片來源: Clay AR)

Clay AIRCEO Thomas Amilien也表示「若想要讓AR變得更普及與實用,『無縫手部追蹤技術』與『手勢識別技術』將會是一個必要的催化劑」。

雖然這對Nreal而言是一個重大的發展,但目前市場上Magic Leap 1HoloLen2Oculus Quest也都有支援手部追蹤技術,加上近幾個月來NCP對世界所帶來的衝擊,「何時可以從還在開發階段的設備變成一個成熟的主流設備」恐怕會變成未來Nreal須面對的問題。但目前Nreal仍計畫在今年推出$499美元的消費者版本與$1199的開發者版本。

其他追蹤技術的AR/VR應用 | 動作捕捉技術、眼球追蹤技術

除了上述提到的手部追蹤技術,也有人採用不同的追蹤技術協助AR/VR發展。今年,Vicon將動作捕捉技術與AR結合,開發出一款可以幫助運動員數據視覺化、績效改善的appCapture.U

Capture.U藉由Blue Trident sensors取得相關數據,並將使用者的數據(如關節位置、關節角度、垂直跳高度、速度)轉變成有用的資訊。藉由Apple ARKit 3.0,Capture.U1.1可以即時將感測器分析出來的使用者數據結合運動學模型(kinematic model),並以AR的方式覆蓋在影片中的運動員身上。

Vicon宣稱Capture.U是全世界第一個使用AR即時將追蹤數據視覺化」的平台,而這樣的特性對運動員與運動科學家也有正面的影響。

眼球追蹤技術也是許多企業關注的技術之一,但是往往受限於成本、重量、耗電量等問題,目前的應用相對較少。但是,比起手勢動作,眼神、視線的移動往往能更直接的表達出我們的想法,故在未來,眼球追蹤有極高之機會成為AR/VR技術中不可或缺的技術,並創造出一種更為自然的溝通互動方式。

更多文章

分享在 facebook
分享在 google
分享在 twitter
分享在 linkedin