選單
AR風向
- 2020-03-13
#092
AR/VR體驗優化─手部追蹤技術的導入
精確度的提升，操作流程的簡化
藉由閱讀《2020年AR/VR產業發展趨勢（上）AR擴增實境篇》與《2020年AR/VR產業發展趨勢（下）VR虛擬實境篇》，我們可以得知目前AR/VR在各領域的應用都呈現穩定快速的發展，加上其他科技的進步，也使AR/VR的運作方式更加豐富完整。
在這些技術當中，除了近幾年來積極發展的5G技術，手部追蹤技術的改善對AR/VR的發展也能夠帶來正面的影響。
文章目錄
AR/VR體驗優化 | 手部追蹤技術Hand Tracking
手部追蹤技術藉由感應器與接收器測量人類的動作，不過手部的動作複雜且細微，就算擁有多個感測器也難以保證可以完美捕捉所有的動作，但鑒於手部追蹤技術的精確度將會大大影響用戶體驗AR/VR時的感受，許多企業依舊願意投入資源研發，改善AR/VR與使用者之間的互動品質。
Oculus去年在VR/AR大會「Oculus Connect 6」即發表了新型手部追蹤技術，讓使用者沉浸在VR世界中時可以直接用手進行捏、指、選擇等動作，使整個虛擬世界的體驗更加逼真。
Google AI實驗室推出的手部追蹤技術也可以藉由分析關節位置、指尖手掌距離、角度大小等數據，來推測手勢，除了適合用於需要大量手勢的VR體驗，在未來也有機會讓智慧型手機具備手語的即時翻譯功能。
手部追蹤技術讓VR體驗不再需要使用實體的操作器，這也使整個操作體驗更加自由與簡單，如今，使用者唯一要做的事就是揮動他們的手。VR開發者Daniel Beauchamp也創造出一系列的模板，用簡單的方式幫助人們了解「手部追蹤技術改善使用者互動性」的趣味應用。
It's VR Jenga but your fingers get longer after every move.
— Daniel Beauchamp (@pushmatrix) March 10, 2020
You in? pic.twitter.com/hM9mnfNPJx
手部追蹤技術的AR/VR應用 | AR虛擬珠寶佩戴、VR員工訓練
AR虛擬珠寶佩戴
AVRSPOT公司運用手部追蹤技術輔助消費者選購合適之珠寶，讓消費者不須走到實體門市內，就可以知道戒指與手鐲佩戴在手上的感覺，以此增加消費者在線上購買之意願，提升店家之銷售額。
此服務適用於iOS與Android系統，且整個配戴流程簡單，手部追蹤技術會自動偵測消費者的手，並將飾品配戴在合適的地方，所以消費者唯一要做的事情就是掃描他們的手，並選出最適合他們的產品。
雖然AVRSPOT的手部追蹤技術並無法提供消費者一個非常趣味且沉浸式的體驗，但是卻可以幫助他們有效辨別珠寶實際佩戴的效果，以此做出最正確的購買決策。
VR員工訓練
Visual Engineering公司設計出結合了手部追蹤技術的VR訓練系統VE Gamified Simulator(G-SIM)，讓員工訓練過程與VR虛擬實境整合，確保他們可以安全的操作複雜危險的工作。
手部追蹤技術的結合則讓員工可以直接用雙手操作所有的機器設備，彷彿真的用雙手拿起機器配件，使整個訓練流程帶來更優異的效果。同時訓練過程中，系統也會適時顯示虛擬的提示訊息，輔助員工操作。
G-SIM系統的VR虛擬訓練方式有助於降低公司的訓練成本，減少實際需要購買的機器設備數量，手部追蹤技術的導入也使整個訓練流程更加逼真，為整個公司帶來正面之影響。
Nreal light AR眼鏡增加手部追蹤技術 | 與Clay AR合作推出
去年，中國北京廠商Nreal開發出AR眼鏡Nreal light，並在去年年初的CES上大獲好評。今年3月初，Nreal宣布與Clay AR合作，將複雜且精確的手部追蹤技術添加至Nreal light AR眼鏡，讓使用者只需使用幾種手勢，即可進行互動。
Nreal light仍然支援硬體的操作器，但Nreal的創始人兼CEO徐馳表示：「Clay AR提供的手部追蹤系統，帶給開發者與一般消費者更多的靈活性與互動。」
根據Clay AR表示，結合手部追蹤技術後除了可以不需要額外的硬體設備，精確度也高達96%。戴上眼鏡後使用者可以看到不同社群平台的AR圖像(如Facebook、YouTube、Netflix)，而只要用手指指向圖像，社群平台就會被直接開啟。另一個互動中也顯示使用者只要握拳、打開手掌、捏一下，即可操作複雜的3D機器模型
Clay AIR的CEO Thomas Amilien也表示「若想要讓AR變得更普及與實用，『無縫手部追蹤技術』與『手勢識別技術』將會是一個必要的催化劑」。
雖然這對Nreal而言是一個重大的發展，但目前市場上Magic Leap 1、HoloLen2與Oculus Quest也都有支援手部追蹤技術，加上近幾個月來NCP對世界所帶來的衝擊，「何時可以從還在開發階段的設備變成一個成熟的主流設備」恐怕會變成未來Nreal須面對的問題。但目前Nreal仍計畫在今年推出$499美元的消費者版本與$1199的開發者版本。
其他追蹤技術的AR/VR應用 | 動作捕捉技術、眼球追蹤技術
除了上述提到的手部追蹤技術，也有人採用不同的追蹤技術協助AR/VR發展。今年，Vicon將動作捕捉技術與AR結合，開發出一款可以幫助運動員數據視覺化、績效改善的app─Capture.U。
Capture.U藉由Blue Trident sensors取得相關數據，並將使用者的數據(如關節位置、關節角度、垂直跳高度、速度)轉變成有用的資訊。藉由Apple ARKit 3.0，Capture.U1.1可以即時將感測器分析出來的使用者數據結合運動學模型(kinematic model)，並以AR的方式覆蓋在影片中的運動員身上。
Vicon宣稱Capture.U是全世界第一個「使用AR即時將追蹤數據視覺化」的平台，而這樣的特性對運動員與運動科學家也有正面的影響。
眼球追蹤技術也是許多企業關注的技術之一，但是往往受限於成本、重量、耗電量等問題，目前的應用相對較少。但是，比起手勢動作，眼神、視線的移動往往能更直接的表達出我們的想法，故在未來，眼球追蹤有極高之機會成為AR/VR技術中不可或缺的技術，並創造出一種更為自然的溝通互動方式。
