AR風向

#098

AR即時翻譯 成功打破語言隔閡

AR技術讓我們的生活更便利 語言無界限

(圖片來源:Huawei)

AR的應用越來越廣泛,不僅能結合各產業讓品牌與消費者做更深度的對話外,還能利用AR功能讓生活便利。跨國高科技公司華為(Huawei)與美國紐約大學(NYU)研究生都為了聾啞人士研發出與AR技術結合的App,讓聾人與健聽者溝通無界限。Google翻譯也結合AR研發出即時翻譯,打破語言隔閡與障礙。

文章目錄

華為結合AR與AI|協助聾啞兒童用眼睛「聽」故事

全球統計目前有3200萬位聾啞兒童,其中大多數聾啞兒童因為無法進行語音學習也無法模仿聲音的發聲,因此他們很難將詞彙與聲音匹配,導致聲帶、舌頭等部位(構音系統)得不到正常的使用而慢慢退化。研究也顯示,聾啞兒童要趕上健聽的同儕需要21年,這對他們的產生了巨大的負面影響,使減少了他們的就業機會,影響了未來收入甚至健康。

華為(Huawei)投入了企業社會責任(CSR)關懷社會議題,先前與歐盟聾人協會「European Union for the Deaf」、英國阿德曼動畫「Aardman」及英國出版商「Penguin Books」共同合作開發了StorySign App,此APP結合AR與AI技術,主要協助聾啞兒童突破語言學習障礙,用眼睛「聽」故事。

(圖片來源:Huawei)

只要將手機打開應用程式,掃描搭配的故事書裡的文字,透過AR(擴增實境)、AI(人工智慧)以及OCR(光學文字辨識)的輔助,將原本靜態的故事書,化身成為以動畫呈現的手語翻譯書,打破從過往至今的語言障礙與隔閡。而為了要符合兒童閱讀故事的情境,創造了一位名為「Star」的虛擬人物來與小朋友翻譯互動,聾啞兒童的家長們也能夠一同學習手語,享受學習閱讀的樂趣。

(圖片來源:Huawei)

稍有遺憾的是,現階段「StorySign」支持的十種手語,基本上都是歐洲語系適用的,且每種語言搭配的讀物目前只有一本,以可用資料的豐富程度來說,還是有很大改善空間的。但此款App確實幫助了許多聽障兒童及其父母陪伴孩子突破學習困境,也使全球更關注聾啞人士議題。

美國紐約大學研究生首創|AR手語辨識與即時翻譯

(圖片來源:Next Reality)

美國紐約大學(NYU)Tandon工程學院的三位研究生Heng Li、Mingfei Huang和Jacky Chen得到「Connected Futures Prototyping and Talent Development計劃的支持,與紐約市媒體實驗室(NYU Media Lab)及威訊無線(Verizon)合作,研發了一款名為ARSL(Augmented Reality Sign Language)的App,只要使用此應用程式,AR技術辨識能夠將手語翻譯成文字,也能使語音辨識轉換成手語及文字,使聾啞人士與不會手語的人們溝通不再困難。

然而,目前依然尚未確定是否會進入App Store及Google Play商店提供給用戶使用。Verizon的一位發言人表示「商業開發應用並非是此計劃的目標,但部分團隊(可能包含ARSL)將在未來發行應用。」

Heng Li表示「雖然我們知道我們只是發掘了長期困擾著全球手語社區的冰山一角,我們將會持續地訪問我們的終端用戶以獲得反饋,我們同時希望採訪該領域的專家,以探討其他新興技術是否能提供幫助。」

Google翻譯與AR科技結合|打破語言隔閡

(圖片來源:App Store-Google翻譯)

想必大家對Google翻譯並不陌生,現在Google也結合了AR功能能夠即時翻譯,讓你出國點餐或看到標語再也不會不了解意思。只要下載Google 翻譯App,開啟攝影鏡頭瞄準想要翻譯的文字及選擇要翻譯的國家語言,透過AR辨識就能即時翻譯,非常便利。

AR即時翻譯|語言無界限

以上的案例讓我們了解到,AR的應用其實是很多樣及多面向的,不僅能在商業上運用,在關懷社會議題及幫助社會方面也能夠帶來正面的影響。華為(Huawei)與紐約大學(NYU)研究生們都利用AR技術為聾人與健聽者搭起溝通的橋樑;而Google 翻譯也結合AR打破語言隔閡,也能讓大眾更認識AR的不同樣貌。期待未來AR能夠運用在更多不同面向,幫助世界及社會更便利的生活。

更多文章

分享在 facebook
分享在 google
分享在 twitter
分享在 linkedin