AI與XR渾然一體：展望深度融合的智慧新視界
文/白璧珍
XR傳教士
宇萌數位科技執行長
台灣實境科技創新發展協會名譽理事長
(圖片來源:ChatGPT 生成式 AI 圖片)
科技圈的進展近年來有兩大關鍵峰值，一個是在2021年10月，Facebook正式更名為Meta，Metaverse元宇宙名詞至此成為市場顯學，而2023年1月，Open AI正式發佈了革命性的ChatGPT，該應用發布後兩個月內即迅速累積突破一億使用者，以大型語言模型（Large Language Model, LLM）為基礎之生成式AI（亦稱GenAI）應用迅速成為了數位創新的生產工具之一。而元宇宙一詞，在AI風潮盛行下看似發展趨緩，但事實上其主體技術XR延展實境（包含AR擴增實境、VR虛擬實境與MR混合實境）相關應用正快速成長，並伴隨著人工智慧與GenAI之發展產生共生關係，而另一個面向也看到人工智慧領域（包含機器學習、深度學習與Gen AI）在XR所處的相關領域找到豐富的市場機會。
說起XR延展實境領域的發展，與 AI 人工智慧技術從一開始就密不可分，主要是XR 中的各種演算法本質上就脫離不了 AI 的範疇。而生成式 AI 的出現，更是進一步加速了 XR 應用的發展，蓬勃了數位雙生應用和 XR 軟硬整合的發展，兩者之間的緊密聯繫可謂相輔相成，共同塑造著虛實融合的未來世界。美國聯邦通訊委員會(Federal Communications Commit, FCC)前主席湯姆惠勒（Tom Wheeler）曾表示，元宇宙一詞應該被解讀為「人工智慧支援的元宇宙」，因為元宇宙就是人工智慧的產物，元宇宙發生的各種事情都是由人工智慧演算法所決定的。因此，元宇宙的興起和AI人工智慧的蓬勃發展，不僅刻正在各行各業掀起革命性的浪潮，更為XR延展實境技術與應用領域帶來了前所未有的機遇。
XR 與 AI 的天然連結：演算法的基石
XR 作為一種結合虛擬與現實的技術，其核心在於創造沉浸式的體驗。這需要大量的數據處理、影像渲染、精準定位、即時互動等技術支持，而這些技術的實現，都離不開 AI 的助力。
- 電腦視覺與影像辨識： XR 設備需要能夠理解周圍環境，辨識物體、空間、眼動、手勢等，這仰賴於 AI 的電腦視覺和影像辨識技術，讓互動裝置能夠「看懂」世界，進而做出相對應的反饋。例如，AR 眼鏡可以透過 AI 辨識物件，提供相關資訊並進行互動。
- 自然語言處理： XR 應用中，語音互動是常見的方式，AI 的自然語言處理技術，讓 XR 裝置能夠理解用戶的語音指令，進行相應的操作。例如，在 AR體驗中，玩家可以透過語音與虛擬導覽員進行互動，進行對話指引並提供即時服務。
- 機器學習與行為預測： XR 應用需要根據使用者的行為和偏好，提供個性化的體驗。AI 的機器學習技術，可以分析使用者體驗數據，了解其習慣和喜好，進而預測其行為，提供更貼心與專屬的服務。例如，XR 裝置可以成為最了解使用者的人，如娛樂、健身等相關應用可以根據使用者的回饋數據，提供專屬服務或訓練計畫。
- 空間定位與 SLAM： XR 裝置需要在空間中精準定位，並建立周圍環境的空間地圖。XR中常用的 SLAM（Simultaneous Localization and Mapping，同時定位與地圖構建）技術，即是基於AI技術讓XR裝置能夠在環境中定位自身位置，這對於 AR 導航、VR 遊戲等應用皆至關重要。
生成式 AI 的推波助瀾：加速 XR 應用發展
生成式 AI 的出現，為 XR 領域帶來了強大的助力。生成式 AI 能夠創造出全新的內容，包括圖像、音樂、文字、3D 模型等，大大豐富了 XR 應用的創意與內容，並降低了開發成本與內容產製速度，加速應用與普及。
- 生成式 AI 創造素材與模型： 傳統 XR素材需要大量時間設計繪製或建立3D 建模，現在透過生成式 AI，就能自動生成豐富精彩的素材與模型，大大降低了 XR 內容製作門檻，讓更多人參與XR製作。
- 生成式 AI 創造虛擬角色： 在XR應用中，虛擬角色與場景之互動性至關重要，生成式 AI 與動捕技術可以搭配創造出擬真或生動的角色並進行互動。
- 生成式 AI 創造沉浸式場景： 生成式 AI 與XR虛擬攝影棚之搭配，可以根據需求創造出各式各樣的沉浸式環境，並靈活運鏡，創造高水準的影音製作，為各領域應用帶來了全新的視覺效果。
(圖片來源：宇萌數位科技MEW Reality XR Studio)
數位雙生與 XR 軟硬體相關設備的蓬勃發展
AI 與 XR 的結合，也帶動了數位雙生（Digital Twin）和 XR 應用的蓬勃發展。
- 數位雙生： 數位雙生是指在虛擬世界中創建一個與真實世界完全相同的模型。透過 AI 分析與連接真實世界的數據，數位雙生可以模擬真實世界的運行情況，進行預測和優化。這在工業、城市管理、醫療等領域有著廣泛的應用前景。例如，在工業領域，可以透過數位雙生模擬工廠的生產流程，找出瓶頸並進行優化。
- XR 硬體與應用： 為了提供更好的 XR 體驗，各種 XR 硬體設備不斷推出，包含AR 眼鏡、VR 頭盔、體感手套等，這些裝置的發展與應用，皆離不開 AI 的支持。例如，AI 晶片可以提供更強大的運算能力，讓 XR 設備能夠處理更複雜的數據，AI 算法可以優化 XR 設備的追蹤和定位，提供更精準的體驗。
- XR與AI應用場景：XR與AI相結合的場景豐富且多元，從室內到戶外皆可營造沉浸式體驗的各類場景，如AR 應用於居家擺設或BIM建築展示管理，讓使用者可以在預覽家具擺放效果或透過AR透視建築結構，這背後即仰賴於 AI 的影像辨識和 3D 模型生成技術。戶外的LBS AR 導覽功能，亦是使用了AI 輔助定位和影像辨識技術，若再導入AI自然語言處理技術，即可進行即時翻譯、導覽解說與方位指引等，應用情境將生動自然並衍生出智慧生活的無限可能。
AI 的興起與 XR 領域的相輔相成：共創虛實融合的未來世界
以科技發展前景來說，AI 的興起與 XR 領域的整合，已是一股不可逆的潮流趨勢，將為全球的數位發展帶來前所未有的機遇，兩者之間的結合將真正創造一個虛實融合的未來世界。AI 不僅是 XR 演算法的基石，更是加速 XR 應用發展的強大助力。隨著生成式 AI、數位雙生和 XR 硬體設備的蓬勃發展，我們可以期待智慧城市將在零售旅宿、教育學習、娛樂觀光、醫療照顧、工業培訓等各行各業發揮更大的作用，為人們的生活帶來更多便利和樂趣。
更多文章
