arXiv reaDer
VidFace: 整列されていない小さなスナップショットを使用したビデオ FaceHallucination 用のフル トランスフォーマー ソルバー
VidFace: A Full-Transformer Solver for Video FaceHallucination with Unaligned Tiny Snapshots
この論文では、複数の低解像度 (LR) ビデオ スナップショットから本物の高解像度 (HR) 人間の顔を幻覚にするタスクを調査します。 VidFace と呼ばれる純粋なトランスフォーマー ベースのモデルを提案し、フルレンジの時空間情報と複数のサムネイル間の顔の構造の手がかりを完全に活用します。具体的には、VidFace は複数のスナップショットを一度に処理し、空間的および時間的情報を統合して利用して、すべてのフレームにわたって顔のアライメントを調査し、アライメント エラーの蓄積を回避します。さらに、トランスフォーマーに顔の事前学習を装備するための反復位置埋め込みモジュールを設計しました。これは、アライメント メカニズムを効果的に正規化するだけでなく、悪名高い事前トレーニングに取って代わります。最後に、公開されている Voxceleb2 ベンチマークから新しい大規模なビデオ顔の幻覚のデータセットをキュレートします。これは、整列されていない小さな顔のスナップショットに取り組むという先行技術に挑戦します。私たちの知る限り、ビデオベースの顔の幻覚のために調整された、統合されたトランスフォーマーベースのソルバーを開発する最初の試みです。パブリック ビデオ フェイス ベンチマークに関する広範な実験により、提案された方法が最新技術を大幅に上回ることが示されています。
In this paper, we investigate the task of hallucinating an authentic high-resolution (HR) human face from multiple low-resolution (LR) video snapshots. We propose a pure transformer-based model, dubbed VidFace, to fully exploit the full-range spatio-temporal information and facial structure cues among multiple thumbnails. Specifically, VidFace handles multiple snapshots all at once and harnesses the spatial and temporal information integrally to explore face alignments across all the frames, thus avoiding accumulating alignment errors. Moreover, we design a recurrent position embedding module to equip our transformer with facial priors, which not only effectively regularises the alignment mechanism but also supplants notorious pre-training. Finally, we curate a new large-scale video face hallucination dataset from the public Voxceleb2 benchmark, which challenges prior arts on tackling unaligned and tiny face snapshots. To the best of our knowledge, we are the first attempt to develop a unified transformer-based solver tailored for video-based face hallucination. Extensive experiments on public video face benchmarks show that the proposed method significantly outperforms the state of the arts.
updated: Mon May 31 2021 13:40:41 GMT+0000 (UTC)
published: Mon May 31 2021 13:40:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト