最近，兵馬俑、馬斯克以及各地網(wǎng)友跳科目三和網(wǎng)紅舞的視頻陸續(xù)在社交媒體和朋友圈刷屏，這些大約10秒左右的視頻都不是真人出鏡，均由大模型生成，這種低門檻的跳舞方式引發(fā)了網(wǎng)友的廣泛體驗(yàn)，掀起了一波斗舞狂潮「AI治愈了我的四肢不協(xié)調(diào)」

Swan是一款使用擴(kuò)散模型實(shí)現(xiàn)的時(shí)域一致的人體圖像動(dòng)畫工具，它可以通過(guò)對(duì)人體圖像進(jìn)行擴(kuò)散模型的運(yùn)算，實(shí)現(xiàn)高質(zhì)量、自然流暢的人體動(dòng)畫效果，適用于人體動(dòng)畫創(chuàng)作、虛擬角色設(shè)計(jì)等領(lǐng)域

Swan具有高度的可控性和靈活性，不管是平常動(dòng)作、舞蹈或者是武術(shù)，都能完美還原，只需要上傳一段視頻和人物照片，就能自動(dòng)生成流暢的模仿視頻，連手指的動(dòng)作都能精準(zhǔn)復(fù)制，甚至可以讓一把椅子也長(zhǎng)出手跳同樣的舞蹈

Swan最新中文版：

百度網(wǎng)盤：Swan

技術(shù)創(chuàng)新

· 架構(gòu)精簡(jiǎn)：使用輕量級(jí)的卷積模塊，負(fù)責(zé)從條件控制（如語(yǔ)義分割掩碼、關(guān)鍵點(diǎn)等）中提取特征表示

· 交叉歸一化：使用主干網(wǎng)絡(luò)去噪特征的均值μ和方差σ對(duì)控制模塊輸出的特征進(jìn)行歸一化

· 條件控制注入策略：采用簡(jiǎn)單的加法融合方式，避免了注意力機(jī)制等復(fù)雜操作引入的額外學(xué)習(xí)參數(shù)和不穩(wěn)定性

· 選擇性參數(shù)訓(xùn)練：從預(yù)訓(xùn)練模型的不同網(wǎng)絡(luò)層中等距采樣，形成用于訓(xùn)練的參數(shù)子集

使用方法

1.上傳人物圖片

2.上傳動(dòng)作視頻

3.點(diǎn)擊「Run Inference」按鈕開(kāi)始生成

可以在“Command Output”界面查看當(dāng)前的執(zhí)行進(jìn)度，視頻處理完畢會(huì)輸出信息Moviepy - Video ready，生成的視頻默認(rèn)保存在項(xiàng)目路徑的outputs文件夾下

注意事項(xiàng)

①項(xiàng)目安裝路徑不要包含中文

②推薦使用GTX1060以上顯卡運(yùn)行此項(xiàng)目

③使用過(guò)程中若不慎關(guān)閉軟件后臺(tái)，請(qǐng)重新打開(kāi)，并刷新網(wǎng)頁(yè)