選單
AR風向
- 2019-07-26
#038
微軟整合Hololens和Azure玩AR複製人
人物3D重建並捕捉個人聲色進行翻譯
微軟負責Azure營銷的高級副總裁Julia White，在今年7月微軟Inspire活動中變了一個魔法。
Julia White創造一個複製人並捕捉了自己外貌和動作，還用了她的聲色，進行非母語的日文翻譯短講。
文章目錄
AR複製人效果展示過程
整個過程Julia White戴著Hololens 頭戴顯示器，先在手上創造了一個小Julia White，接著以酷炫的特效產生一個真人比例的Julia White，並且開始用日語說話，令人驚艷的是，這個複製人模仿了講者的聲色，並以這個聲色開口用非母語的日文翻譯說話。
雖然AR複製人在說話時，嘴巴口型並沒有對上正在說的日文，但是這並不影響整個展示的特色：全息的AR複製人、模仿聲線、語言翻譯。
AR複製人的實現方式
Julia White表示穿著相同的複製人，是展出前在Mixed-Reality Stuido重建的人物，同時也一起捕捉動作，再利用Azure AI 神經TTS，將英語轉換為日文，並將聲色訓練成和Julia White相同。
最後，整合這些技術再利用高規格的專業相機和HoloLens，轉換為現場的虛擬建構的全息投影，讓觀眾可以看到Julia White的畫面。
AR複製人的應用可能
如果此展示技術發展成熟且穩定，可能會出現幾種運用的可能性：
1. 跨國訓練／教學
企業訓練可以進行遠距教學，利用Hololens將操作機台連同人一起出現，讓人實際操作的畫面場景，真實還原到遠距離不同語言的國家，同時利用Azure AI翻譯成當地語言，讓受訓者和教育者抹去語言隔閡，可以直接吸收和傳達。
2. 針對特定區域的演講
演講人可以預錄虛擬人物，利用Azure AI翻譯成當地語言，創造一套講者不用搭飛機到當地，就可以好像真的在出現現場的演講體驗，並且這套系統還可以直接翻譯成不同國家的語言，一次將演講內容大量傳播到多個不同語言的國家。
這套技術也許可以提供跨國解說、跨國教學、操作重現等等解決方案，還解決了語言上的距離，但暫時還無法得知使用整套服務的軟硬體設備成本總共是多少，實際使用上還需要詳細評估，才能確保整套解決方案的花費對企業是划算的。
