動(dòng)作捕捉中的AI:這幾款“工具”不許你不知道

 
樓主  收藏   舉報(bào)   帖子創(chuàng)建時(shí)間:  2024-01-06 21:31 回復(fù):0 關(guān)注量:427

很多年來(lái),電影人一直在努力捕捉人類(lèi)運(yùn)動(dòng)的精髓——作為觀眾,我們天生就有能力識(shí)別出那些不完全真實(shí)的運(yùn)動(dòng),于是讓這個(gè)工作變得更具挑戰(zhàn)性。想實(shí)現(xiàn)這一目標(biāo),需要精心設(shè)計(jì)、耗資巨大的布景,但結(jié)果仍常常出現(xiàn)“恐怖谷效應(yīng)”。


影片《極地特快》(The Polar Express)2004 劇照

導(dǎo)演:羅伯特·澤米吉斯(Robert Zemeckis) 動(dòng)畫(huà) 2004.11月美國(guó)上映

 

羅伯特·澤米吉斯(Robert Zemeckis)利用動(dòng)作捕捉技術(shù),在21世紀(jì)初執(zhí)導(dǎo)了幾部具有開(kāi)創(chuàng)性的動(dòng)畫(huà)電影,其中包括《極地特快》和《貝奧武夫》。這些作品取得了新的突破,代表了當(dāng)時(shí)動(dòng)作捕捉技術(shù)的頂峰,但仍然有一定的局限性,角色有時(shí)看上去缺乏生氣,動(dòng)作也缺乏真實(shí)感。

影片《貝奧武夫》(Beowulf)2005 劇照

導(dǎo)演:羅伯特·澤米吉斯(Robert Zemeckis) 2007.11月美國(guó)上映

影片《貝奧武夫》(Beowulf)片段

 

詹姆斯·卡梅?。↗ames Cameron)的《阿凡達(dá)》系列電影進(jìn)一步挑戰(zhàn)了動(dòng)作捕捉技術(shù)的極限。他不僅大大提高了動(dòng)作捕捉系統(tǒng)的保真度,還在動(dòng)作捕捉攝影棚中加入人類(lèi)掌機(jī),使最終呈現(xiàn)的畫(huà)面效果更加逼真。拍攝過(guò)程中巨大的技術(shù)挑戰(zhàn)意味著這部電影是有史以來(lái)成本最高的電影之一,其后期制作也長(zhǎng)達(dá)數(shù)年之久。

影片:《阿凡達(dá):水之道》(Avatar: The Way of Water)2022 花絮:動(dòng)作捕捉

導(dǎo)演: 詹姆斯·卡梅隆 (James Cameron) 2022.12 美國(guó)

 

如今,人工智能和機(jī)器視覺(jué)的進(jìn)步——后者指的是能讓計(jì)算機(jī)分析視頻片段的AI——通過(guò)簡(jiǎn)化流程,為動(dòng)作捕捉技術(shù)開(kāi)辟了新天地。目前有關(guān)畫(huà)面制作的AI討論主要傾向于生成式AI,而用于動(dòng)作捕捉的AI則完全不同,它依靠機(jī)器學(xué)習(xí)系統(tǒng)來(lái)解決復(fù)雜的數(shù)學(xué)問(wèn)題,從而推斷出身體結(jié)構(gòu)運(yùn)動(dòng)——而不是直接生成畫(huà)面。

 

最新的AI工具拓展了動(dòng)作捕捉的可能性,重要的是,當(dāng)這些不斷發(fā)展的技術(shù)將捕捉過(guò)程從受限的攝影棚釋放到傳統(tǒng)片場(chǎng)上時(shí),電影攝影師及其工作人員必須隨時(shí)了解相關(guān)信息。

 

傳統(tǒng)動(dòng)作捕捉技術(shù)面臨的挑戰(zhàn)

 

傳統(tǒng)用于攝影棚制作的動(dòng)作捕捉技術(shù)通常需要大量經(jīng)過(guò)校準(zhǔn)的紅外攝影機(jī)來(lái)捕捉附著在表演者和物體上的標(biāo)記點(diǎn),還需要一個(gè)系統(tǒng)通過(guò)比較攝影機(jī)的視角來(lái)確定標(biāo)記點(diǎn)在空間中的位置。

 

傳統(tǒng)的動(dòng)作捕捉技術(shù)所提供的數(shù)據(jù)高度精確,被認(rèn)為是劇情片視效和AAA級(jí)視頻游戲的“金本位”——尤其是在創(chuàng)建與真人電影攝影完美融合的數(shù)字運(yùn)動(dòng)方面。這些系統(tǒng)所面臨的挑戰(zhàn)包括需要一個(gè)專(zhuān)門(mén)用于捕捉的空間,以及對(duì)表演者和要捕捉的其他對(duì)象進(jìn)行標(biāo)記。它還禁止同時(shí)捕捉動(dòng)態(tài)影像,除非在后期制作中可進(jìn)行大量轉(zhuǎn)描并移除標(biāo)記點(diǎn)和跟蹤設(shè)備。

 

另外,此類(lèi)系統(tǒng)——以及采用傳感器套件的系統(tǒng)——可能需要進(jìn)行大量的后期處理,因此不太適合實(shí)時(shí)應(yīng)用。另一個(gè)顧慮是,這些過(guò)程可能會(huì)給表演者,尤其是兒童和動(dòng)物帶來(lái)不便。

 

 

AI動(dòng)作捕捉的定義

 

AI動(dòng)作捕捉利用人工智能和機(jī)器視覺(jué)的結(jié)合來(lái)跟蹤視頻素材中人或其他對(duì)象的運(yùn)動(dòng)。它首先從攝影機(jī)或傳感器收集數(shù)據(jù),然后利用機(jī)器學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)和跟蹤捕捉對(duì)象姿勢(shì)的關(guān)鍵點(diǎn),并輸出得到的運(yùn)動(dòng)數(shù)據(jù),以便應(yīng)用到虛擬角色中。

 

這里的關(guān)鍵在于,CG角色或捕捉對(duì)象的精確逼真運(yùn)動(dòng)可以通過(guò)保真度相對(duì)較低的原始數(shù)據(jù)來(lái)實(shí)現(xiàn),這些數(shù)據(jù)通常來(lái)自標(biāo)準(zhǔn)的視頻捕捉——AI可以填補(bǔ)數(shù)據(jù)中的“空白”,允許采用低準(zhǔn)確率的收集方法。

 

不同于傳統(tǒng)的動(dòng)作捕捉,AI動(dòng)作捕捉通常不需要標(biāo)記點(diǎn)或特殊服裝,因此對(duì)拍攝對(duì)象來(lái)說(shuō)更方便,對(duì)特定捕捉環(huán)境的依賴(lài)度也更低——具有高度自動(dòng)化、可擴(kuò)展性和適應(yīng)性。選擇AI動(dòng)作捕捉還是傳統(tǒng)動(dòng)作捕捉,取決于具體的項(xiàng)目要求和預(yù)算。

 

下面,我們將探討相關(guān)的一些工具。

 

Move.ai


Move.ai是一個(gè)快速發(fā)展的AI動(dòng)作捕捉產(chǎn)品,一個(gè)可擴(kuò)展的系統(tǒng),可以將視頻從消費(fèi)級(jí)攝影機(jī)拍攝的畫(huà)面效果處理成與Invisible兼容的無(wú)標(biāo)記動(dòng)作捕捉,是一個(gè)整合了Disguise MX Move硬件的實(shí)時(shí)綜合工具。該系統(tǒng)的手機(jī)應(yīng)用版使用來(lái)自蘋(píng)果手機(jī)的視頻片段,而企業(yè)版則可以收集多種現(xiàn)成攝影機(jī)的數(shù)據(jù)?!?/p>


使用Move.ai通過(guò)視頻畫(huà)面實(shí)時(shí)操控木偶角色。Move.ai將視頻 處理為與Invisible兼容,

并由Disguise MX Move硬件提供支持


Move.ai基于卷積神經(jīng)網(wǎng)絡(luò),”該公司合作人之一、副總裁尼爾·亨德里(Niall Hendry)說(shuō),“通常情況下,公司會(huì)從谷歌和meta的現(xiàn)成數(shù)據(jù)模型入手,但要獲得一個(gè)好的數(shù)據(jù)庫(kù),最終還是需要建立自己的模型。


基于AI動(dòng)作捕捉數(shù)據(jù)的Move. ai渲染

 

我們拍攝了大量的運(yùn)動(dòng)視頻,并對(duì)其進(jìn)行標(biāo)記——從霹靂舞者到空轉(zhuǎn)動(dòng)作——從而定義特定關(guān)節(jié)(如肘部)在畫(huà)面中的運(yùn)動(dòng)。添加的視頻越多,識(shí)別的特征和異常情況越多,模型就能越好、更準(zhǔn)確地學(xué)習(xí)從新視頻中獲取運(yùn)動(dòng)數(shù)據(jù)。

 

Move.ai的數(shù)據(jù)流圖,用于多攝影機(jī)模式

 

”Disguise虛擬制作副總裁阿迪·加尼(Addy Ghani)補(bǔ)充道:“人體骨骼的行為遵循一套規(guī)則,這些規(guī)則可以轉(zhuǎn)化為一個(gè)被稱(chēng)之為‘逆運(yùn)動(dòng)學(xué)’的數(shù)學(xué)模型。例如,當(dāng)我向后掰我的手指時(shí),只能掰這么遠(yuǎn),它的運(yùn)動(dòng)范圍是有限的。同樣,當(dāng)AI模型從視頻中生成運(yùn)動(dòng)數(shù)據(jù)時(shí),也不會(huì)超過(guò)真實(shí)骨骼的性能。它還可以模仿更高階的骨骼行為。例如,如果你抬起手,你的肘部就會(huì)跟著抬起,肩膀也會(huì)向上轉(zhuǎn)動(dòng)。這讓Move.ai從數(shù)學(xué)的角度認(rèn)識(shí)到了人體形態(tài)的物理能力和限制。”

 

 

Radical

 

Radical也是一種從視頻片段中提取全身動(dòng)作的AI動(dòng)作捕捉產(chǎn)品。該軟件還包括含Blender、Maya、Unity和Unreal Engine等3D軟件的插件,可將實(shí)時(shí)運(yùn)動(dòng)數(shù)據(jù)直接傳輸?shù)?D角色中。


Radical包含了Blender、Maya、Unity和Unreal Engine等 3D 軟件的插件

 

 

Radical以訂閱模式為基礎(chǔ),旨在為新興內(nèi)容創(chuàng)作者和高端劇情片及視頻游戲制作提供可擴(kuò)展的產(chǎn)品。該系統(tǒng)通過(guò)云服務(wù)獲得處理能力,無(wú)需專(zhuān)門(mén)的本地處理設(shè)備即可運(yùn)行。

 

Wonder Studio

 

由開(kāi)放商Wonder Dynamics推出Wonder Studio更進(jìn)一步,將AI衍生的動(dòng)作捕捉與端到端的視效創(chuàng)作平臺(tái)相結(jié)合。Wonder能在真人場(chǎng)景中自動(dòng)制作動(dòng)畫(huà)、布光與合成CG角色——并可以從實(shí)景素材中將原始表演者轉(zhuǎn)描出來(lái)。


Wonder Studio AI動(dòng)作捕捉系統(tǒng)使用視頻片段作為原始數(shù)據(jù),讓電影人可以用CG角色

代替真人表演。

 

雖然Wonder處理真人素材的時(shí)間比其他AI動(dòng)作捕捉產(chǎn)品要長(zhǎng)得多,但它能做的遠(yuǎn)不只提取動(dòng)作。與傳統(tǒng)視效相比,Wonder生成結(jié)果的技術(shù)精度和逼真度較低,但它只需要很少的時(shí)間和預(yù)算就能完成。根據(jù)項(xiàng)目的范圍和需求,WonderStudio的結(jié)果——在一小時(shí)內(nèi)可以完成從真人素材到合成動(dòng)畫(huà)角色——可以滿(mǎn)足預(yù)覽、臨時(shí)畫(huà)面甚至最終版本的需要。

 

索尼Mocopi

 

索尼的Mocopi【取自“動(dòng)作復(fù)制”(motioncopy)一詞】采用不同的方法來(lái)應(yīng)對(duì)同樣的挑戰(zhàn),它是一種基于無(wú)線(xiàn)、佩戴及手機(jī)式的傳感器系統(tǒng),用于控制虛擬化身——因此的確包含了可佩戴元素。


索尼Mocopi AI動(dòng)作捕捉技術(shù)利用身體傳感器來(lái)控制CG角色的動(dòng)作

 

“Mocopi是我們首創(chuàng)的、旨在為內(nèi)容創(chuàng)作者提供一個(gè)經(jīng)濟(jì)實(shí)用、輕巧便攜的全身追蹤系統(tǒng),以簡(jiǎn)化其虛擬制作工作流程?!彼髂醁R業(yè)務(wù)開(kāi)發(fā)主管泰薩·亞馬穆拉(Thaisa Yamamura)說(shuō)道。

 

“Mocopi利用索尼專(zhuān)門(mén)的機(jī)器學(xué)習(xí)算法,通過(guò)六個(gè)無(wú)線(xiàn)身體追蹤器提供精確的運(yùn)動(dòng)追蹤數(shù)據(jù),其中包括方向追蹤加速度計(jì)和角速率傳感器,并通過(guò)藍(lán)牙連接到我們的移動(dòng)應(yīng)用程序上,”亞馬穆拉繼續(xù)說(shuō),“這個(gè)系統(tǒng)的架設(shè)非常簡(jiǎn)單,我們還提供了Unity和Unreal的開(kāi)發(fā)工具包,使創(chuàng)作者能夠?qū)⑵渚C合運(yùn)用到自定義項(xiàng)目中。

 

”Mocopi主要面向YouTube和TikTok上的內(nèi)容創(chuàng)作者,比起跟更復(fù)雜系統(tǒng)的保真性,它更注重好用性。Mocopi的效果通常能達(dá)到預(yù)覽和臨時(shí)視效場(chǎng)景的基本質(zhì)量。

 

 

最后總結(jié)

 

這些AI動(dòng)作捕捉產(chǎn)品各有所長(zhǎng)??偟膩?lái)說(shuō),這個(gè)新技術(shù)具有一定潛力,可以幫助電影人在專(zhuān)業(yè)設(shè)備和拍攝環(huán)境有限的條件下——快速地將原始動(dòng)作捕捉數(shù)據(jù)轉(zhuǎn)化為從低保真/預(yù)覽到人眼完全可信的畫(huà)面。

 

(全文完)

 

 本期內(nèi)容為《美國(guó)電影攝影師(ASC)雜志》2023-12月刊文《虛擬世界:動(dòng)作捕捉中的AI》;本文作者:諾亞·卡德納;

打賞