arXiv reaDer
RestoreFormer:劣化していないKey-Valueペアからの高品質のブラインドフェイスの復元
RestoreFormer: High-Quality Blind Face Restoration From Undegraded Key-Value Pairs
ブラインドフェイスの復元は、未知の劣化から高品質の顔画像を復元することです。顔画像にはコンテキスト情報が豊富に含まれているため、コンテキスト情報をモデル化するための完全な空間的注意を調査し、ローカル演算子を使用する既存の作業を超える方法、RestoreFormerを提案します。 RestoreFormerには、従来技術と比較していくつかの利点があります。まず、以前のVision Transformer(ViT)の従来のマルチヘッドセルフアテンションとは異なり、RestoreFormerにはマルチヘッドクロスアテンションレイヤーが組み込まれており、破損したクエリと高品質のキーと値のペアの間の完全な空間的相互作用を学習します。次に、ResotreFormerのキーと値のペアは、再構成指向の高品質辞書からサンプリングされます。この辞書の要素には、顔の再構成を目的とした高品質の顔の特徴が豊富に含まれているため、優れた復元結果が得られます。第3に、RestoreFormerは、1つの合成データセットと3つの実世界のデータセットで高度な最先端の方法を上回り、より優れた視覚品質の画像を生成します。
Blind face restoration is to recover a high-quality face image from unknown degradations. As face image contains abundant contextual information, we propose a method, RestoreFormer, which explores fully-spatial attentions to model contextual information and surpasses existing works that use local operators. RestoreFormer has several benefits compared to prior arts. First, unlike the conventional multi-head self-attention in previous Vision Transformers (ViTs), RestoreFormer incorporates a multi-head cross-attention layer to learn fully-spatial interactions between corrupted queries and high-quality key-value pairs. Second, the key-value pairs in ResotreFormer are sampled from a reconstruction-oriented high-quality dictionary, whose elements are rich in high-quality facial features specifically aimed for face reconstruction, leading to superior restoration results. Third, RestoreFormer outperforms advanced state-of-the-art methods on one synthetic dataset and three real-world datasets, as well as produces images with better visual quality.
updated: Mon Jan 17 2022 12:21:55 GMT+0000 (UTC)
published: Mon Jan 17 2022 12:21:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト