日前，人工智能領(lǐng)域CCF-A類頂級會議IJCAI（International Joint Conference on Artificial Intelligence）2024年度的論文揭曉，西安電子科技大學(xué)通信工程學(xué)院何剛教師團(tuán)隊(duì)最新針對視頻人臉修復(fù)算法研究成果被收錄。

人臉恢復(fù)通常指從低質(zhì)量的人臉圖像中恢復(fù)出高質(zhì)量細(xì)節(jié)的技術(shù)，例如去模糊、去噪聲、恢復(fù)等。這些技術(shù)通過算法改善圖像質(zhì)量，使人臉特征更清晰。而視頻人臉恢復(fù)則是將這一過程應(yīng)用于視頻序列，它不僅需要處理每一幀的圖像質(zhì)量，還要保證時(shí)間上的連貫性和自然過渡，確保視頻中人臉的動(dòng)態(tài)表現(xiàn)和質(zhì)量的一致性。這要求算法能夠有效處理視頻中的運(yùn)動(dòng)模糊、壓縮損失等問題。人臉恢復(fù)任務(wù)在最近幾年被廣泛研究，并且在工業(yè)界被廣泛應(yīng)用。

該論文研究首次提出了一種新穎的盲視頻人臉恢復(fù)方法，即解析引導(dǎo)的時(shí)間一致性變換器（PGTFormer），旨在解決現(xiàn)有技術(shù)在處理低質(zhì)量視頻人臉時(shí)遇到的挑戰(zhàn)。該方法無須預(yù)對齊即可恢復(fù)高保真的人臉細(xì)節(jié)，并增強(qiáng)視頻中不同姿態(tài)變化的時(shí)間連貫性。PGTFormer利用語義解析指導(dǎo)選擇最優(yōu)人臉先驗(yàn)，生成時(shí)間上連貫且無缺陷的人臉結(jié)果。該研究還包括了一個(gè)時(shí)間空間矢量量化自編碼器（TS-VQGAN）的預(yù)訓(xùn)練模型，以及一個(gè)時(shí)間解析引導(dǎo)的碼本預(yù)測器（TPCP），這些創(chuàng)新技術(shù)顯著提高了人臉恢復(fù)的效率和準(zhǔn)確性。