小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

AI視頻又炸了!照片 聲音變視頻,阿里讓Sora女主唱歌小李子說rap

 高山拂塵 2024-02-29 發(fā)布于北京
衡宇 夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

Sora之后,居然還有新的AI視頻模型,能驚艷得大家狂轉(zhuǎn)狂贊!

圖片

有了它,《狂飆》大反派高啟強(qiáng)化身羅翔,都能給大伙兒普法啦(狗頭)。

這就是阿里最新推出的基于音頻驅(qū)動的肖像視頻生成框架,EMO(Emote Portrait Alive)。

有了它,輸入單張參考圖像,以及一段音頻(說話、唱歌、rap均可),就能生成表情生動的AI視頻。視頻最終長度,取決于輸入音頻的長度。

你可以讓蒙娜麗莎——這位AI屆效果體驗(yàn)的老選手,朗誦一段獨(dú)白:

年輕俊美的小李子來段快節(jié)奏的rap才藝秀,嘴形跟上完全沒問題:

甚至粵語口型也能hold住,這就讓哥哥張國榮來首陳奕迅的《無條件》:

總之,不管是讓肖像唱歌(不同風(fēng)格的肖像和歌曲)、讓肖像開口說話(不同語種)、還是各種“張冠李戴”的跨演員表演,EMO的效果,都讓咱看得一愣一愣的。

網(wǎng)友大感嘆:“我們正在走進(jìn)一個(gè)新的現(xiàn)實(shí)!”

圖片

(2019版《小丑》說2008版《蝙蝠俠黑暗騎士》的臺詞)

甚至已經(jīng)有網(wǎng)友開始對EMO生成視頻開始了拉片,逐幀分析效果究竟怎么樣。

如下面這段視頻,主角是Sora生成的AI女士,本次為大家演唱的曲目是《Don’t Start Now》。

推友分析道:

這段視頻的一致性,比以往更上一層樓了!
一分多鐘的視頻里,Sora女士臉上的墨鏡幾乎沒有亂動,耳朵、眉毛都有獨(dú)立的運(yùn)動。
最精彩的是Sora女士的喉嚨好像真的有呼吸哎!她唱歌的過程中身體還有微顫和移動,我直接大震驚!

圖片

話說回來,EMO是熱門新技術(shù)嘛,免不了拿來與同類對比——

就在昨天,AI視頻生成公司Pika也推出了為視頻人物配音,同時(shí)“對口型”的唇形同步功能,撞車了。

具體效果怎么樣呢,我們直接擺在這兒圖片

 

評論區(qū)網(wǎng)友對比過后得出的結(jié)論是,被阿里吊打了。

圖片

EMO公布論文,同時(shí)宣布開源。

但是!雖說開源,GitHub上仍然是空倉。

再但是!雖然是空倉,標(biāo)星數(shù)已經(jīng)超過了2.1k。

圖片

惹得網(wǎng)友們真的是好著急,有吉吉國王那么急。

圖片

與Sora不同架構(gòu)

EMO論文一出,圈內(nèi)不少人松了口氣。

與Sora技術(shù)路線不同,說明復(fù)刻Sora不是唯一的路。

EMO并不是建立在類似DiT架構(gòu)的基礎(chǔ)上,也就是沒有用Transformer去替代傳統(tǒng)UNet,其骨干網(wǎng)絡(luò)魔改自Stable Diffusion 1.5。

具體來說,EMO是一種富有表現(xiàn)力的音頻驅(qū)動的肖像視頻生成框架,可以根據(jù)輸入視頻的長度生成任何持續(xù)時(shí)間的視頻。

圖片

該框架主要由兩個(gè)階段構(gòu)成:

  • 幀編碼階段

部署一個(gè)稱為ReferenceNet的UNet網(wǎng)絡(luò),負(fù)責(zé)從參考圖像和視頻的幀中提取特征。

  • 擴(kuò)散階段

首先,預(yù)訓(xùn)練的音頻編碼器處理音頻嵌入,人臉區(qū)域掩模與多幀噪聲相結(jié)合來控制人臉圖像的生成。

隨后是骨干網(wǎng)絡(luò)主導(dǎo)去噪操作。在骨干網(wǎng)絡(luò)中應(yīng)用了兩種注意力,參考注意力和音頻注意力,分別作用于保持角色的身份一致性和調(diào)節(jié)角色的運(yùn)動。

此外,時(shí)間模塊被用來操縱的時(shí)間維度,并調(diào)整運(yùn)動的速度。

在訓(xùn)練數(shù)據(jù)方面,團(tuán)隊(duì)構(gòu)建了一個(gè)包含超過250小時(shí)視頻和超過1500萬張圖像的龐大且多樣化的音視頻數(shù)據(jù)集。

最終實(shí)現(xiàn)的具體特性如下:

  • 可以根據(jù)輸入音頻生成任意持續(xù)時(shí)間的視頻,同時(shí)保證角色身份一致性(演示中給出的最長單個(gè)視頻為1分49秒)。

  • 支持各種語言的交談與唱歌(演示中包括普通話、廣東話、英語、日語、韓語

  • 支持不同畫風(fēng)(照片、傳統(tǒng)繪畫、漫畫、3D渲染、AI數(shù)字人)

圖片

在定量比較上也比之前的方法有較大提升取得SOTA,只在衡量口型同步質(zhì)量的SyncNet指標(biāo)上稍遜一籌。

圖片

與其他不依賴擴(kuò)散模型的方法相比,EMO更耗時(shí)。

并且由于沒有使用任何顯式的控制信號,可能導(dǎo)致無意中生成手等其他身體部位,一個(gè)潛在解決方案是采用專門用于身體部位的控制信號。

EMO的團(tuán)隊(duì)

最后,來看看EMO背后的團(tuán)隊(duì)有那些人。

論文顯示,EMO團(tuán)隊(duì)來自阿里巴巴智能計(jì)算研究院。

作者共四位,分別是Linrui Tian,Qi Wang,Bang Zhang和Liefeng Bo。

圖片

其中,薄列峰(Liefeng Bo),是目前的阿里巴巴通義實(shí)驗(yàn)室XR實(shí)驗(yàn)室負(fù)責(zé)人。

薄列鋒博士畢業(yè)于西安電子科技大學(xué),先后在芝加哥大學(xué)豐田研究院和華盛頓大學(xué)從事博士后研究,研究方向主要是ML、CV和機(jī)器人。其谷歌學(xué)術(shù)被引數(shù)超過13000。

在加入阿里前,他先是在亞馬遜西雅圖總部任首席科學(xué)家,后又加入京東數(shù)字科技集團(tuán)AI實(shí)驗(yàn)室任首席科學(xué)家。

2022年9月,薄列峰加入阿里。

圖片

EMO已經(jīng)不是第一次阿里在AIGC領(lǐng)域出圈的成果了。

圖片

有AI一鍵換裝的OutfitAnyone。

圖片

還有讓全世界小貓小狗都在跳洗澡舞的AnimateAnyone。

就是下面這個(gè):

圖片

如今推出EMO,不少網(wǎng)友在感嘆,阿里是有些技術(shù)積累在身上的。

圖片

如果現(xiàn)在把所有這些技術(shù)結(jié)合起來,那效果……

不敢想,但好期待。

圖片

總之,我們離“發(fā)給AI一個(gè)劇本,輸出整部電影”越來越近了。

圖片

One More Thing

Sora,代表文本驅(qū)動的視頻合成的斷崖式突破。

EMO,也代表音頻驅(qū)動的視頻合成一個(gè)新高度。

兩者盡管任務(wù)不同、具體架構(gòu)不同,但還有一個(gè)重要的共性:

中間都沒有加入顯式的物理模型,卻都在一定程度上模擬了物理規(guī)律。

因此有人認(rèn)為,這與Lecun堅(jiān)持的“通過生成像素來為動作建模世界是浪費(fèi)且注定要失敗的”觀點(diǎn)相悖,更支持了Jim Fan的“數(shù)據(jù)驅(qū)動的世界模型”思想。

圖片

過去種種方法失敗了,而現(xiàn)在的成功,可能真就來自還是強(qiáng)化學(xué)習(xí)之父Sutton的《苦澀的教訓(xùn)》,大力出奇跡。

讓AI能夠像人們一樣去發(fā)現(xiàn),而不是包含人們發(fā)現(xiàn)的內(nèi)容

突破性的進(jìn)展最終通過擴(kuò)大計(jì)算規(guī)模來實(shí)現(xiàn)

論文:
https:///pdf/2402.17485.pdf
GitHub:
https://github.com/HumanAIGC/EMO

參考鏈接:
[1]
https:///swyx/status/1762957305401004061

報(bào)名中!

2024年值得關(guān)注的AIGC企業(yè)&產(chǎn)品

量子位正在評選2024年最值得關(guān)注的AIGC企業(yè)、 2024年最值得期待的AIGC產(chǎn)品兩類獎(jiǎng)項(xiàng),歡迎報(bào)名評選!

評選報(bào)名截至2024年3月31日 圖片

中國AIGC產(chǎn)業(yè)峰會同步火熱籌備中,了解更多請戳:Sora時(shí)代,我們該如何關(guān)注新應(yīng)用?一切盡在中國AIGC產(chǎn)業(yè)峰會

商務(wù)合作請聯(lián)絡(luò)微信:18600164356 徐峰

活動合作請聯(lián)絡(luò)微信:18801103170 王琳玉

點(diǎn)這里??關(guān)注我,記得標(biāo)星噢

    本站是提供個(gè)人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多