Red Pill Live靠人工智慧捕捉動作　虛擬網紅平民化時代來臨

虛擬網紅、虛擬主播，或稱VTuber、V-Liver，他們的人氣正在網路社群中逐漸崛起。讓這些角色活起來的動作捕捉技術也因此受到關注，有成本低、效果好的工具，人人都有機會成為虛擬網紅。Red Pill Live是由Red Pill Lab針對全身動作捕捉與表演所研發的軟體，基於人工智慧技術，只要6個感測器、1個麥克風，就可捕捉全身動作、表情和嘴型，成本相較傳統動作捕捉攝影棚大幅降低。

以好萊塢等級的動作捕捉系統而言，整套大約要30萬美金，扮演虛擬角色的演員身上、臉上大概也貼滿了感測器。我們之前參觀日本V-Liver工作室，攝影棚總共架了16台攝影機，演員身上穿了53個感測器，整間工作室大概有十幾位員工。不過類似的效果，以Red Pill Live一個人就可做到，整套設備一個背包就可以裝起來，也不需要攝影棚。

關鍵在於人工智慧技術。Red Pill Lab執行長石千泓表示，他們一年前加入NVIDIA專案計畫，蒐集了超過4,000個動作資料，運用NVIDIA Quadro RTX Tensor Core來訓練動作預測模型，靠捕捉頭、雙手、腰、雙腳共6個感測器，就可預測出人體動作。表情、嘴巴的部份則是靠聲音資料訓練，以演員說話的聲音預測情緒及嘴型。

我們實際觀察Red Pill Live現場示範，身體動作的反應相當即時。表情、嘴部動作也很即時，但沒有很精準。石千泓說明，表情他們是設定高、中、低、正常四種情緒，依據當下的口氣來預測情緒顯示。嘴型不是依據語言顯示，而是學習了如a、i、u、e、o等14種發音的嘴型，依據發音即時反應在虛擬角色嘴巴上。目前正不斷訓練人工智慧，希望未來可以更精準。

▲ Red Pill Live示範影片

但老實說，除了花大錢的影視、遊戲產業能做到相當逼真，一般網路上的虛擬網紅其實也不求真實，主要在傳達虛擬角色的形象、個性、互動。Red Pill Live的效果已經相當出色，而且可做即時直播，應可讓表演者有更大發揮空間。而且如果預算高一些，用支援虛幻引擎（Unreal Engine）的Red Pill Live版本、搭配NVIDIA Quadro RTX 6000 RT Core的話，可做到4K即時光線追蹤，輸出影像的光影效果更棒。

▲ Red Pill Live Unreal版搭配NVIDIA RTX 6000的效果

Red Pill Live內容導入、匯出使用流通的.fbx三維模型格式，可與Maya、3DS Max Studio專業動畫軟體橋接，或將動作捕捉資料導入商業引擎如虛幻引擎、Unity等驅動數位角色。目前客戶遍及台灣、大陸、日本、韓國、美國、加拿大，應用場景包含教育、動畫、互動劇場、遊戲等。

Red Pill Live企業版價格約幾十萬，石千泓表示今年計畫在Steam平台推出雲端版，採月租收費，屆時就適合個人使用了。

史塔夫短評：虛擬角色要遍地開花了。