AR風向

#038

微軟整合Hololens和Azure玩AR複製人

人物3D重建並捕捉個人聲色進行翻譯 

微軟負責Azure營銷的高級副總裁Julia White,在今年7月微軟Inspire活動中變了一個魔法。

Julia White創造一個複製人並捕捉了自己外貌和動作,還用了她的聲色,進行非母語的日文翻譯短講。

AR複製人效果展示過程

(擷取自微軟影片)
整個過程Julia White戴著Hololens 頭戴顯示器,先在手上創造了一個小Julia White,接著以酷炫的特效產生一個真人比例的Julia White,並且開始用日語說話,令人驚艷的是,這個複製人模仿了講者的聲色,並以這個聲色開口用非母語的日文翻譯說話。
(擷取自微軟影片)
雖然AR複製人在說話時,嘴巴口型並沒有對上正在說的日文,但是這並不影響整個展示的特色:全息的AR複製人、模仿聲線、語言翻譯。

AR複製人的實現方式

Julia White表示穿著相同的複製人,是展出前在Mixed-Reality Stuido重建的人物,同時也一起捕捉動作,再利用Azure AI 神經TTS,將英語轉換為日文,並將聲色訓練成和Julia White相同。

最後,整合這些技術再利用高規格的專業相機和HoloLens,轉換為現場的虛擬建構的全息投影,讓觀眾可以看到Julia White的畫面。

AR複製人的應用可能

如果此展示技術發展成熟且穩定,可能會出現幾種運用的可能性:

1. 跨國訓練/教學

企業訓練可以進行遠距教學,利用Hololens將操作機台連同人一起出現,讓人實際操作的畫面場景,真實還原到遠距離不同語言的國家,同時利用Azure AI翻譯成當地語言,讓受訓者和教育者抹去語言隔閡,可以直接吸收和傳達。

2. 針對特定區域的演講

演講人可以預錄虛擬人物,利用Azure AI翻譯成當地語言,創造一套講者不用搭飛機到當地,就可以好像真的在出現現場的演講體驗,並且這套系統還可以直接翻譯成不同國家的語言,一次將演講內容大量傳播到多個不同語言的國家。

這套技術也許可以提供跨國解說、跨國教學、操作重現等等解決方案,還解決了語言上的距離,但暫時還無法得知使用整套服務的軟硬體設備成本總共是多少,實際使用上還需要詳細評估,才能確保整套解決方案的花費對企業是划算的。

更多文章

分享在 facebook
分享在 google
分享在 twitter
分享在 linkedin