日前，曠視科技發(fā)布了一項新的開源 AI 人像視頻生成框架 ——MegActor?；谠摽蚣?，用戶只需輸入一張靜態(tài)的肖像圖片，以及一段視頻（演講、表情包、rap）文件，即可生成一段表情豐富、動作一致的 AI 人像視頻。MegActor 所生成的視頻長度，取決于給定的驅(qū)動視頻的長度。與阿里 EMO、微軟 VASA 等最新涌現(xiàn)的 AI 視頻模型不同，曠視 MegActor 將采用開源的方式，提供給開發(fā)者社區(qū)使用。MegActor 能夠呈現(xiàn)出絲毫畢現(xiàn)的效果，面部細節(jié)更加豐富自然，畫質(zhì)更出色。
MegActor 是曠視研究院的最新研究成果。曠視研究院，是曠視打造的公司級研究機構(gòu)。曠視研究院旨在通過基礎(chǔ)創(chuàng)新突破 AI 技術(shù)邊界，以工程創(chuàng)新實現(xiàn)技術(shù)到產(chǎn)品的快速轉(zhuǎn)化。經(jīng)過多年發(fā)展，曠視研究院已成為全球規(guī)模領(lǐng)先的人工智能研究院。 在目前的人像視頻生成領(lǐng)域，許多工作通常使用高質(zhì)量的閉源自采數(shù)據(jù)進行訓練，以追求更好的效果。而曠視研究院始終堅持全面開源，確保實際效果的可復現(xiàn)性。MegActor 的訓練數(shù)據(jù)全部來自公開可獲取的開源數(shù)據(jù)集，配合開源代碼，使得感興趣的從業(yè)者可以從頭開始完整復現(xiàn)這些令人驚艷的效果。 為了完全復刻原始視頻的表情和動作，MegActor 采用了原始圖像進行驅(qū)動，這與多數(shù)廠商使用 sketch、pose、landmark 的中間表示皆然不同，能夠捕捉到細致的表情和運動信息。
曠視科技研究總經(jīng)理范浩強表示，在 AI 視頻生成領(lǐng)域，我們發(fā)現(xiàn)目前主流的骨骼關(guān)鍵點控制方式不僅要求用戶提供難以獲取的專業(yè)控制信號，同時生成視頻相較于原肖像的保真程度也不盡如人意。通過一系列研究發(fā)現(xiàn)，使用原視頻進行驅(qū)動，不僅將幫助用戶降低控制信號的門檻，更能生成更加保真且動作一致的視頻。 具體來說，MegActor 主要由兩個階段構(gòu)成：
