資訊工業策進會 文化科技中心 洪志宏主任 狄旻
邊緣運算降低網路頻寬需求及運算延遲時間，造就全新的XR應用商機，助攻全球娛樂媒體市場。
前言
近年全球延展實境（Extended Reality, XR）產業規模增強及國內外需求逐年擴大，XR應用開始融入民眾生活，透過串接真實世界與虛擬世界的特性，讓使用者以更沉浸的方式獲得身歷其境的感受。國際GII（The Global Innovation Index）調研機構預測2023至2028年全球XR產業市場規模將增長到4,723.9億美元，複合年增長率達34.94％，主要布局文創娛樂媒體相關產業，未來應用發展極具前瞻性。
邊緣運算對XR應用發展的之重要性
隨著智慧運算對延遲與安全性的要求提高，以及各式可攜式設備與終端裝置對智慧化功能的需求高漲，龐大的物聯網資料無法全部透過雲端處理，讓雲端運算逐漸向邊緣發展，形成邊緣運算，而建構於雲物端之間的邊緣運算體系，輔助終端更多運算功能由於運算從雲端轉移到網路邊緣，由於更靠近裝置與資料來源、簡化在雲端的大規模資料處理，降低網路中斷風險及延遲，同時節省成本，讓邊緣雲成為應用所需的重要前瞻技術。
因產業市場對於大量聲光絢麗效果的高解析特效的需求，現地端XR終端設備的算力逐漸無法滿足應用的需求，加以終端設備受限於重量、體積、電池續航力、銷售價格、維運成本及管理複雜等諸多因素，大幅了限制了XR應用的發展。高沉浸XR應用體驗需要低延遲的感官回饋，對於高效運算及網路頻寬有很高的要求，因為龐大的影音資料需要透過高速網路傳送至後端應用伺服器，大量資料送達應用伺服器後，必須以高效運算的軟硬體來進行即時運算，才能提供低延遲的互動感。
以互動體驗性來說，XR應用為人類延遲敏感型應用，這類應用反應延遲必須不被人類察覺，若被察覺就會覺得應用不夠即時、互動感不佳，例如XR擊球遊戲，如果應用延遲太高，就會發生人打不中球的情形，整體互動體驗性就會變得極差。統計上一般人從互動觸發到眼睛收到渲染後的回饋，至少需要小於250ms的延遲才會覺得體驗不卡頓，對職業選手來說，則可以識別到小於100ms的極低延遲。
由於XR設備受限於規格、成本、舒適度等因素，在算力上有其限制，故過往的體驗多為靜態觀賞或是單向互動，無多人雙向的互動應用類型。因此，要解決這樣的技術窘境，在未來低延遲邊緣運算技術的發展就變得極具重要性，透過該技術，無須將資料發送至雲端運算中心，讓內容傳到離使用者更近的地方，提升資料運算效能，降低網路頻寬需求及減少端到端運算的延遲時間，滿足XR應用的需求。以下將介紹兩項基於低延遲邊緣運算技術之應用案例。
精彩內容
1. 低延遲虛擬鏡子人節奏寶石遊戲
2. 低延遲狂想互動遊樂園 |
低延遲虛擬鏡子人節奏寶石遊戲
2023年8月於高雄展覽館「2023 Meet Greater South亞灣新創大南方」展出「低延遲虛擬鏡子節奏互動遊戲」（如圖1），提供邊緣雲技術導入低延遲XR示範性應用。體驗者透過揮動手臂來精準打擊節奏寶石，只要擊中寶石便可得分，透過此遊戲發現，使用邊緣雲技術的機台，因為能即時反饋體驗者的動作，所以能獲得較高分數。
圖1 低延遲虛擬鏡子人互動遊戲
本應用運用工研院與資策會共同研發的「邊緣雲低延遲運算軟硬體創新技術」創新科技成果（如圖2），透過「低延遲非同步編碼技術」即時傳輸影像至邊緣雲平台，平台內「具優先權保證資源管理與編排服務技術」與「具反應時間保證與品質可控之AI技術」為進行AI運算加速，讓應用整體平均延遲在100ms以內，達到無縫互動的體驗感。採用之邊緣雲低延遲運算軟硬體創新技術，具備以下特點：
- 具服務品質保證資源管理與編排技術：透過低延遲儲存管理技術，實現自動儲存分層技術，優化儲存效能。並可動態運算調控電源管理，解決NUMA CORE 架構配置造成閒置CPU資源浪費與根據應用系統調整硬碟類型，達到不影響計算效能，減少11％電能浪費。
- 低延遲非同步編碼技術：解碼器端低延遲Cycle-stealing架構與動態決策技術，讓CODEC平均延遲時間可降低至68ms。
- 具反應時間保證與品質可控之AI技術：延遲可控暨多模型合併技術，讓整體延遲減少約71％運算時間。
圖2 國產自主超低延遲邊緣雲軟體平台
如圖3所示，本次展示以對照組提供應用服務效能比較。可發現透過邊緣雲平台的整體響應時間為80至110ms，比一般搭配RTX3090的PC主機的120至150ms快了至少30％。以下為低延遲應用的對照架構圖。本應用載體採用體感魔鏡結合高速攝影機，將體驗者的影像串流經過編碼後即時傳送至AI運算主機端，主機端接收到影像後進行解碼，解碼後的影像再以AI影像辨識進行骨架辨識，骨架辨識的資訊會轉為平面座標，應用邏輯運算會判斷是否與節奏遊戲物件的座標發生碰撞，如發生碰撞則代表成功擊中寶石，擊中後的結果進行骨架與虛擬人的無縫套接，透過渲染呈現於體驗者的面前。
圖3 A/B Test串接架構
如圖4所示，本應用採用的骨架AI影像辨識技術，接收1920*1080大小的影像解析度，以30fps的頻率進行影像辨識，可識別至少18個骨架節點，以33ms的延遲，提供給應用進行邏輯運算及渲染呈現。
圖4 骨架串接通訊格式
低延遲狂想互動遊樂園
2023年10月，我們於高雄體育館「2023高雄動漫節」打造「狂想互動遊樂園」主題館（如圖5）。主題館包含多項低延遲XR沉浸式互動應用，結合虛實整合的動漫體驗情境，吸引了許多動漫迷排隊體驗。主題館包含「XR沉浸式低延遲虛實互動舞台」及「雙人低延遲擊球互動遊戲」兩項低延遲體感XR應用[1]。
圖5 2023高雄動漫節之狂想互動遊樂園主題館
「XR沉浸式低延遲虛實互動舞台」（如圖6），結合裸視3D虛擬攝影棚呈現遊戲世界背景，搭配屏幕上方的高速相機進行多人動作捕捉，即時捕捉參與者的臉部表情及身體動作，將其傳換為遊戲互動的驅動器，由於要能即時反應多位體驗者的動作並反映在6K的超大螢幕上。針對如圖7的多人動作偵測，就已經需要高運算的設備，且因為要能順暢呈現結果於超大螢幕上，並彌補被拉高的渲染時間，因此需要結合邊緣雲平台進行低延遲AI運算[2]。
圖6 XR沉浸式低延遲虛實互動舞台
圖7 多人合作比愛心觸發場景特效
「雙人低延遲擊球互動遊戲」（如圖8），是款雙人對戰的體感遊戲，發球者瞄準對方發過來的球，透過揮動手臂來實施精準打擊，接球者只要擊中球便能將球送回給發球者，而每次擊球成功便會累積絕招計量，當計量條滿時便可發出大招，只要有一方未能成功擊球而另一方便可獲得點數，體驗時間到時，以最高分者勝出。為了讓整個體驗更為真實，必須在幾十毫秒內判斷是否擊中球。如果延遲過高，體驗者會錯過擊球機會，影響使用者體驗。為了解決這個問題，本遊戲結合「邊緣雲低延遲運算軟硬體創新技術」創新科技成果，讓參與民眾可以感受到接近0.05秒的即時動作反饋，強化對戰的互動體驗性。
圖8 雙人低延遲擊球互動遊戲
本對戰遊戲透過攝影機影像辨識手臂揮動影像，以體感遊戲模式提供體驗，即時依照手的方向呈現如鏡子般的動作，為了要讓體驗真實感，對於場地設計也必須要有所要求，如圖9，讓體驗者全身軀幹要能夠在攝影機的視角內，人與人需間隔至少1公尺，才不會打到對方及後方的觀賞人員。
圖9 雙人低延遲擊球互動遊戲場地設計
結論
以前瞻性的技術角度來看，XR服務體驗的未來發展模式，將會從固定或單向的互動模式轉向多人交互互動模式，而隨著參與人數與互動物件變多，又要保持低延遲的服務體驗，就必須仰賴高效的邊緣雲軟硬體平台技術來支持。「邊緣雲低延遲運算軟硬體創新技術」具有技術前瞻性，透過該技術可以在邊緣端建立一套具服務品質（Quality of Service, QoS）保證與可高度彈性資源調度機制，並搭配自行開發高算力、低耗能之自主高性能運算晶片，為多種低延遲應用服務節省節點平均耗能及提升儲存效能10％，同時針對影像傳輸提供低延遲非同步編碼技術，可降低編碼延遲時間15％。搭配具反應時間保證與品質可控之AI分析，將多個分割物件模型合併為單一模型，讓最短推論時間相較原始模型縮短60％，讓整體輸入到輸出延遲時間低於100ms。面對未來大量AI運算需求的領域，如智慧商場、智慧工廠、智慧展演等，透過邊緣運算技術提供多元低延遲應用服務將會成為應用發展的主流趨勢。
以前瞻性的產業角度來看，這幾年受到疫情的影響，「非接觸」成為一種新的產業趨勢，為因應這種趨勢也加速了企業數位轉型的腳步。而導入XR科技能增強使用者體驗，也因此在企業數位轉型的過程中扮演重要角色，滿足了消費者沉浸式新體驗，這幾年也逐漸獲得消費者青睞、也為產業創造新商機。
未來，企業會將XR與5G、AI、IoT等相互結合來進一步延伸應用深度與廣度，提供更貼近臨場的視覺化體驗、及更沉浸的虛實互動情境，為產業帶來全方位虛實解決方案，XR應用導入的範圍相當廣泛，適用於各行各業，透過XR可以實現各式未曾體驗過的服務模式，相信未來XR將是各個產業不可或缺的需求與顯學。
2020年資策會執行的台北國際數位內容交流會（Digital Taipei, DT）」中的「XR跨域創新思維應用論壇」，主要為協助台灣產業更加了解XR應用，以加速企業數位轉型來貼近產業需求。XR的導入隨著技術的進步已經沒有想像中的困難，甚至近幾年來XR應用更是百花齊放，未來只會有更多可能，也為產業帶來嶄新契機。
