劍眉星目，衣帶飄飄，伴著仙樂(lè)，傳聞中的瑤池仙堡堡主從閉關(guān)處飛身而出：

一身霓裳羽衣，宛如敦煌壁畫(huà)中的飛天，或許見(jiàn)過(guò)林青霞這一造型的觀眾并不多。

這段經(jīng)典的出場(chǎng)畫(huà)面，來(lái)自于 1983 年徐克執(zhí)導(dǎo)的《蜀山：新蜀山劍俠》，是林青霞的第一部武俠作品。在傳統(tǒng)武俠功夫片的內(nèi)核之中，導(dǎo)演注入了天馬行空的想象。這也是港片拍攝中，第一次邀請(qǐng)到好萊塢《星球大戰(zhàn)》特效小組支援特技鏡頭的作品，很多特效制作在當(dāng)時(shí)顯得十分前衛(wèi)和大膽。

以《蜀山：新蜀山劍俠》為代表的老港片，承載了很多人的童年回憶，成為了一代人心目中難以超越的珍貴影像。

但記憶中的這些老港片，往往伴隨著模糊、昏暗、掉幀等畫(huà)質(zhì)問(wèn)題。即使今天再將經(jīng)典之作翻出來(lái)重新觀賞，部分作品的「全損畫(huà)質(zhì)」也會(huì)影響到我們感受其藝術(shù)和美學(xué)價(jià)值。

為此，抖音及火山引擎在 2023 年發(fā)起了「經(jīng)典香港電影修復(fù)計(jì)劃」，宣布將在一年內(nèi)修復(fù) 100 部香港經(jīng)典影片。通過(guò)最新技術(shù)的助力，讓大眾看清香港電影最初的、最清晰的樣子。

在 8 月 16 日舉辦的「再續(xù)時(shí)光 —— 經(jīng)典香港電影修復(fù)發(fā)布會(huì)」上，這一計(jì)劃正式啟動(dòng)。首批上線的老港片包括《武狀元蘇乞兒》、《A 計(jì)劃》、《蜀山：新蜀山劍俠》等 22 部作品。

基于最前沿的 AI 技術(shù)加持，一系列八九十年代的老港片重新煥發(fā)了生機(jī)。比如在 4K 版本的《蜀山：新蜀山劍俠》中，女神林青霞的美貌被完全還原：

修復(fù)前。

修復(fù)后。

值得關(guān)注的是，這一次老港片修復(fù)首次應(yīng)用了 AIGC 視覺(jué)大模型。字節(jié)跳動(dòng)視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅表示，基于視覺(jué)大模型優(yōu)越的生成能力和豐富的先驗(yàn)知識(shí)，修復(fù)的效果與效率均實(shí)現(xiàn)了大幅度提升。

修復(fù)一部四十年前的港片，有多難？

如今，想要找到一部老港片的播放資源并不難，只不過(guò)這些視頻的畫(huà)質(zhì)與我們?？吹母咔逡曨l相比，觀感體驗(yàn)不那么友好。

受限于拍攝設(shè)備、存儲(chǔ)方式等的影響，一些老港片往往會(huì)更加模糊、有嚴(yán)重的膠片噪聲且分辨率較低。帶給觀眾的直觀感受就是「高糊」、「昏暗」、「不絲滑」：

造成這些問(wèn)題的原因是多種多樣的：在上個(gè)世紀(jì)，大部分港片拍攝后都是儲(chǔ)存在膠片上，而儲(chǔ)存膠片的環(huán)境需要恒溫恒濕。如果保存的溫度和濕度不合適，以及在使用、搬運(yùn)的過(guò)程中造成的物理和化學(xué)性損傷，產(chǎn)生褪色、撕裂、臟點(diǎn)、霉變、劃痕、酸變、收縮、扭曲等情況，反復(fù)的放映更是容易造成畫(huà)面劃痕、閃爍、丟幀等損傷。再加上拷貝版本因?yàn)榉∵^(guò)多次，畫(huà)質(zhì)也會(huì)有衰減。

此外，受限于技術(shù)原因，很多武俠類(lèi)的老港片都無(wú)法完全處理掉威亞的痕跡。以《蜀山：新蜀山劍俠》為例，這部作品存在大量的武打動(dòng)作，觀眾很容易在觀賞過(guò)程中發(fā)現(xiàn)「鋼絲」：

近年來(lái)，對(duì)此類(lèi)老電影的修復(fù)工作正在越來(lái)越多地開(kāi)展。一般來(lái)說(shuō)，老電影修復(fù)分為傳統(tǒng)修復(fù)、算法修復(fù)和藝術(shù)修復(fù)三大步驟。首先要清潔電影膠片表面的灰塵、污垢，然后對(duì)其進(jìn)行接補(bǔ)，再將膠片每格內(nèi)容轉(zhuǎn)換為數(shù)字化信息，經(jīng)過(guò)修復(fù)師一幀幀處理畫(huà)面上的劃痕、污漬等問(wèn)題，最后進(jìn)行畫(huà)面調(diào)色。

一部電影可能多達(dá)十幾萬(wàn)幀，人工修復(fù)的成本高、耗時(shí)長(zhǎng)，難以進(jìn)行大規(guī)模修復(fù)。這一套流程下來(lái)，大概要花費(fèi)好幾個(gè)月的時(shí)間，其中又屬數(shù)字修復(fù)環(huán)節(jié)的工作最為繁瑣、枯燥、耗時(shí)。

近年來(lái)，越來(lái)越多的 AI 技術(shù)被用于修復(fù)老電影，也帶來(lái)了驚艷的效果。在本次「經(jīng)典影像修復(fù)計(jì)劃」中，火山引擎團(tuán)隊(duì)將傳統(tǒng)人工修復(fù)與最新的 AI 算法修復(fù)相結(jié)合，在極大提升電影修復(fù)效率的同時(shí)，進(jìn)一步優(yōu)化了影片的畫(huà)質(zhì)。

在這一過(guò)程中，火山引擎和中國(guó)電影資料館進(jìn)行了多輪溝通和討論，經(jīng)過(guò)不斷地測(cè)試和反復(fù)地調(diào)優(yōu)，才達(dá)到算法服務(wù)于藝術(shù)的理想效果。

特別要提到的是，火山引擎多媒體實(shí)驗(yàn)室基于多種自研的畫(huà)質(zhì)增強(qiáng)能力，首次將 AIGC 視覺(jué)大模型「Stable Diffusion」應(yīng)用于老片修復(fù)場(chǎng)景。

老電影修復(fù)，用上生成式 AI 大模型

我們知道的「Stable Diffusion」，是一個(gè)文本到圖像的生成模型。那么它如何用于視頻修復(fù)？效果如何？

火山引擎多媒體實(shí)驗(yàn)室研究員趙世杰介紹說(shuō)，除了通過(guò)文字 prompt 生成圖片和視頻內(nèi)容，相關(guān)算法同樣可以應(yīng)用在 prompt 為圖片或者視頻的場(chǎng)景，實(shí)現(xiàn)通過(guò)圖片或視頻來(lái)創(chuàng)作新的圖片或視頻。視頻的逐幀修復(fù)流程與圖像修復(fù)類(lèi)似，其方法也是基于圖像修復(fù)演變而來(lái)的，因此這些算法可以應(yīng)用于老舊視頻到高清視頻的轉(zhuǎn)換或是視頻畫(huà)質(zhì)修復(fù)、增強(qiáng)。

3、效率優(yōu)化：已有的擴(kuò)散模型因?yàn)樾枰翟胗?jì)算結(jié)果，所以運(yùn)算速度很慢，對(duì)算力的要求很高。因此，團(tuán)隊(duì)對(duì)采樣的推理步數(shù)進(jìn)行了蒸餾優(yōu)化，將冗余的采樣步數(shù)大幅縮減。此外，面向老片修復(fù)場(chǎng)景對(duì)高分辨率的要求，一個(gè)非常實(shí)用的思路就是做并行。團(tuán)隊(duì)設(shè)計(jì)了分塊推理的結(jié)構(gòu)，在保證各個(gè)塊算法穩(wěn)定的前提下提高算法并行度，使得大模型的推理效率整體提高 50 倍以上。

老片修復(fù)，火山引擎有哪些技術(shù)沉淀？

此外，在清晰度、流暢度、色彩、瑕疵四種老片修復(fù)的常見(jiàn)問(wèn)題上，火山引擎團(tuán)隊(duì)已經(jīng)積累了豐富的 AI 修復(fù)技術(shù)，有效加速了此次修復(fù)。

首先，從清晰度上，團(tuán)隊(duì)自研了去噪、去壓縮、去模糊、超分辨率、人像增強(qiáng)等多種 AI 算法。針對(duì)老舊電影存在的噪聲，壓縮，模糊等混合畫(huà)質(zhì)損傷，通過(guò)智能畫(huà)質(zhì)問(wèn)題分析，自適應(yīng)決策處理算法，達(dá)到減少影片偽像、消除模糊、提升分辨率等效果。

針對(duì)人像為主的場(chǎng)景，優(yōu)化后的人像增強(qiáng)模塊能夠在提升五官清晰度的同時(shí)保留皮膚紋理細(xì)節(jié)，不破壞影片質(zhì)感。

修復(fù)前（左），修復(fù)后（右）。

其次，從流暢度上，團(tuán)隊(duì)自研了智能插幀算法，通過(guò)對(duì)前后幀的內(nèi)容進(jìn)行光流估計(jì)，根據(jù)光流信息將前后幀像素都轉(zhuǎn)換到中間幀，然后進(jìn)行整合，生成中間幀，提升視頻幀率，減少觀看時(shí)的卡頓感。

特別是對(duì)于《蜀山：新蜀山劍俠》的眾多武打場(chǎng)景來(lái)說(shuō)，幀間運(yùn)動(dòng)較大，運(yùn)動(dòng)范圍超過(guò)光流模型感受野時(shí)，光流就會(huì)估計(jì)不準(zhǔn)確，導(dǎo)致最終前后幀像素轉(zhuǎn)換到中間幀也不準(zhǔn)確，產(chǎn)生拖影。

為了解決這一問(wèn)題，團(tuán)隊(duì)在計(jì)算光流時(shí)，自適應(yīng)確定下采倍數(shù)，使用下采分辨率后的圖片作為輸入，得到下采光流后再上采回原分辨率，用于原分辨率圖像的像素轉(zhuǎn)換，從而讓光流模型在較小的計(jì)算量下能夠處理較大運(yùn)動(dòng)。

修復(fù)前（左），修復(fù)后（右）。

對(duì)于武打中一些過(guò)于復(fù)雜的運(yùn)動(dòng)，插幀對(duì)復(fù)雜運(yùn)動(dòng)的擬合不夠準(zhǔn)確，從而導(dǎo)致最終插幀結(jié)果不準(zhǔn)確，產(chǎn)生偽影，對(duì)用戶觀感會(huì)有負(fù)向體驗(yàn)，這種情況下要盡量避免去做插幀，因此需要有是否適合做插幀的判斷方法，我們的插幀判斷主要從圖像差異度、幀間運(yùn)動(dòng)情況、模型預(yù)測(cè)的插幀置信度三方面去分析，對(duì)于圖像內(nèi)容差異度過(guò)大、幀間運(yùn)動(dòng)復(fù)雜度過(guò)大、模型預(yù)測(cè)出插壞的區(qū)域過(guò)多這三種情況避免使用插幀模型的輸出，而使用相鄰幀作為插出的幀。

下圖是插幀置信度的預(yù)測(cè)，插幀置信度的黑色區(qū)域?qū)?yīng)插壞的區(qū)域：

然后，從色彩上，團(tuán)隊(duì)構(gòu)建了一整套色彩相關(guān)處理算法，包括色彩增強(qiáng)、色偏校正、SDR2HDR 等能力，可以解決老片中的褪色、色偏等問(wèn)題，讓老片色彩更豐富，煥然一新。

由于早期攝影設(shè)備能力弱，存儲(chǔ)介質(zhì)老化等原因，常常存在色偏，動(dòng)態(tài)范圍偏低等問(wèn)題，導(dǎo)致影片失真嚴(yán)重，需要通過(guò)色彩校正/增強(qiáng)等算法對(duì)失真進(jìn)行修復(fù)，使其重?zé)ㄉ鷻C(jī)。對(duì)于色彩校正算法而言，其難點(diǎn)在于白點(diǎn)估計(jì)，傳統(tǒng)的灰度世界/完美反射等算法難以準(zhǔn)確地估計(jì)老片場(chǎng)景中較為復(fù)雜的色偏情況，而基于深度學(xué)習(xí)的色偏校正算法雖然上限較高，但其幀間穩(wěn)定性較差，且不同幀校正效果差異較大。

為了有效解決上述問(wèn)題，團(tuán)隊(duì)首先對(duì)影片進(jìn)行場(chǎng)景分割，使用深度學(xué)習(xí)方案逐幀學(xué)習(xí)其色彩校正矩陣，同時(shí)通過(guò)質(zhì)量檢測(cè)算法剔除其中效果較差校色矩陣，然后按場(chǎng)景求得剩余色彩校正矩陣的均值，對(duì)同一場(chǎng)景，使用同一套色彩校正矩陣進(jìn)行處理，從而得到穩(wěn)定的校正結(jié)果。

修復(fù)前。

修復(fù)后。

最后，從瑕疵上，老港片中常出現(xiàn)的瑕疵包括線狀劃痕、雪花顆粒噪點(diǎn)、塊狀污漬等。團(tuán)隊(duì)給出的解決方案包括：

對(duì)于較小的雪花噪聲，使用傳統(tǒng)時(shí)域運(yùn)動(dòng)補(bǔ)償去噪算法，利用相鄰幀信息，對(duì)固定規(guī)律的紋理和隨機(jī)的噪點(diǎn)進(jìn)行區(qū)分，在保證去除大部分噪點(diǎn)的同時(shí)，減少對(duì)紋理細(xì)節(jié)的損傷。

對(duì)于線狀劃痕和塊狀污漬，使用基于深度學(xué)習(xí)的劃痕檢測(cè)修復(fù)模塊。通過(guò)生成隨機(jī)長(zhǎng)度的直線和不規(guī)則的塊狀mask來(lái)模擬劃痕損傷，將其添加至無(wú)劃痕的視頻數(shù)據(jù)獲得匹配的數(shù)據(jù)對(duì)。利用該數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，可以修復(fù)大部分線狀劃痕和較小的塊狀污漬。

對(duì)于畫(huà)面損傷較大的塊狀污漬，使用基于生成式的image inpainting算法，通過(guò)局部紋理信息，全局結(jié)構(gòu)信息和顏色紋理信息，來(lái)優(yōu)化生成的畫(huà)面內(nèi)容與片源的相似性，同時(shí)利用時(shí)域一致性算法，防止修復(fù)后的畫(huà)面在時(shí)域出現(xiàn)閃爍。

技術(shù)與開(kāi)放的價(jià)值

很多人可能會(huì)好奇，這樣一套復(fù)雜的 AI 修復(fù)方案，是否有機(jī)會(huì)組合起來(lái)對(duì)外開(kāi)放，讓普通人也能將「全損畫(huà)質(zhì)」輕松轉(zhuǎn)化為高清視頻？ 

其實(shí)，這些相關(guān)的能力開(kāi)放工作，火山引擎團(tuán)隊(duì)很早就開(kāi)始做了。在火山引擎視頻云中，「智能處理」就是團(tuán)隊(duì)基于多年對(duì)多媒體智能處理的實(shí)踐經(jīng)驗(yàn)提煉出的全流程視頻前后智能處理及增強(qiáng)技術(shù)產(chǎn)品。

火山引擎智能處理官方網(wǎng)站：https://www./product/imp

作為字節(jié)跳動(dòng)旗下的企業(yè)級(jí)技術(shù)服務(wù)平臺(tái)，火山引擎此前已將字節(jié)跳動(dòng)快速發(fā)展過(guò)程中積累的增長(zhǎng)方法、技術(shù)工具和能力開(kāi)放給外部企業(yè)，提供云、AI、大數(shù)據(jù)技術(shù)等系列產(chǎn)品和服務(wù)，幫助企業(yè)在數(shù)字化升級(jí)中實(shí)現(xiàn)持續(xù)增長(zhǎng)。

比如，火山引擎每天都會(huì)在多個(gè)鏈路、環(huán)節(jié)對(duì)海量視頻進(jìn)行分析，做針對(duì)性的增強(qiáng)和修復(fù)。而這些修復(fù)影像過(guò)程中使用到的技術(shù)，已經(jīng)通過(guò)火山引擎的「智能處理」工具向所有內(nèi)外部客戶提供服務(wù)，便于讓更多的企業(yè)參與到老片的修復(fù)中，為觀眾帶來(lái)更多的 4K 超高畫(huà)質(zhì)影像作品。