選單
AR風向
- 2020-02-04
#084
AR和VR科技讓音樂娛樂無所不在
獨一無二的沉浸式感官饗宴
科技與音樂、舞蹈及戲劇結合，呈現出獨特的視覺感官體驗，AR技術也是近年來經常運用於音樂影視產業，包含專輯宣傳、表演型態及觀眾互動方式，為觀眾們帶來最佳的體驗模式，先前我們才談過2019獲葛萊美獎提名美國饒舌歌手Snoop Dogg，在發佈最新專輯作品 「I Wanna Thank Me」是以Snapchat作為AR呈現的媒介，希望為樂迷帶來不同感受；而在上個月剛結束的National Association of Music Merchants (NAMM Show)也著重討論AR與VR如何改變藝術家的現場表演方式。
音樂表演的AR應用
在2019 音樂頒獎典禮BBMAs （Billboard Music Award）上，流行天后瑪丹娜（Madonna）演唱了歌曲《Medellín》，結合AR技術與四個分身（分別是音樂家、新娘、特工與cha-cha老師）同台共舞，傳達出瑪丹娜人生各階段的傳奇故事，帶來良好的舞台效果。
文章目錄
另外，2019年俄羅斯的音樂節New Wave也運用了AR的技術，以此改變了建築物的外觀，並加入其他虛擬的事物，包含動畫人物、廢墟、毀壞的圓頂、飛鷹、扭曲的建築物等，為觀賞者帶來更多的感動與震撼。
不過，不管是瑪丹娜的四位AR分身，還是俄羅斯的音樂節New Wave皆不是以全息投影技術呈現，所以現場觀眾並無法感受到AR技術與舞台結合的呈現效果。因此，在音樂會上是否加入AR眼鏡，就像是進入3D電影院需配戴3D眼鏡，衍伸出的話題即是觀眾對於獨特的AR擴增實境體驗是否買單。
VR虛擬實境現場音樂會
Miro Shot該樂團在2019年倫敦IFF（國際音樂節論壇）針對代理商和音樂專業人士舉行一場虛擬演唱會，運用VR虛擬實境及沉浸式技術，VR為音樂帶來新突破，觀眾進入展演廳，牆上佈滿螢幕、空間中充滿乾冰、專屬氣味、風扇及燈光硬體設備，音樂會開始前，觀眾坐定在座椅戴上VR眼鏡，能看到搭配著樂團演奏的數位視覺特效，觀眾擁有了一場精彩的娛樂視聽之旅。
AR Pianist
除了上述音樂視聽的應用外，近期 Fayez Salka的Twitter展示了一段虛擬鋼琴演奏家的彈奏片段，引起很大的迴響，在影片中可以看到透過AR技術，手機鏡頭對準任何一台鋼琴都會有AR鋼琴家現身演奏，播放著鋼琴家的樂曲，同時會在下方顯示對應的樂譜，這項AR應用是使用機器學習來辨識鋼琴正確的方向及3D位置，誤差控制在1公釐內。有別於傳統影像錄製，能以「無死角」的方式呈現演奏，速度也能放慢100倍，對於使用者的演奏能即時反饋，並顯示AR鋼琴家是如何移手的，如此的AR體驗為音樂教育帶來很大的幫助。
Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP
— Fayez Salka (@fayezsalka) December 2, 2019
無論AR或VR皆為音樂體驗帶來提升，AR擴增實境增強了舞台設計及表演層次，對於觀眾視覺感官有更大衝擊，或是手機鏡頭隨時掃描任何一項樂器，就能獲得即時的音樂視聽；而VR虛擬實境則為音樂會帶來不同的方式，改變觀眾體驗行為，不一定要呆板的坐在音樂廳，也不一定要與幾千人一同對著舞台吶喊，戴上VR眼鏡能有更沉浸的感官體驗，也或許演唱會結束後，運用AR及VR技術也能回家再次回味當下的音樂觸動。
