arXiv reaDer
分割注意ネットワークにおける分割注意を使用した顔の幻覚
Face Hallucination Using Split-Attention in Split-Attention Network
最近、注意メカニズムが、内部特徴マップの相関を調査するための畳み込みニューラルネットワーク(CNN)ベースの超解像(SR)タスクに適用されています。ただし、それらのほとんどは、粗いものから細かいものへの注意の集中のために、マルチパス機能チャネル間の相関関係を無視します。この論文では、顔の構造情報を探索するために、内部チャネル機能と外部(クロス)マルチパス機能を融合するために、分割注意ネットワーク(SISN)で分割注意を提案します。まず、内部機能の分割注意ブロックは、顔の局所的な詳細の忠実度を維持します。次に、外部-内部分割注意グループは、顔の構造情報を安定させるためにマルチパス機能を微調整するための機能間の相互作用を提供します。外部機能融合モジュールは、粗いものから細かいものまで画像の一貫性を維持するために、顔の構造と局所的な詳細機能を融合するように設計されています。実験結果は、提案されたアプローチが、いくつかの最先端の方法よりも、顔の幻覚の主観的および客観的なパフォーマンスを一貫して大幅に改善することを示しています。
Recently, attention mechanism has been applied into convolutional neural networks(CNNs) based super-resolution (SR) tasks for exploring internal feature map correlation. However, most of them ignore the correlation between multi-path features channels for coarse-to-fine attention focusing. In this paper, we propose a split-attention in split-attention network (SISN) to fuse internal channel features and external (cross) multi-path features for exploring face structure information. First, internal-feature split attention block maintains the fidelity of facial local details. Then external-internal split attention group provides cross-features interaction to finetune multi-path features for stabilizing facial structure information. External-feature fusion module is designed to fuse face structure and local detail features for preserving the consistency of images from coarse-to-fine. Experimental results demonstrate that the proposed approach consistently and significantly improves the subjective and objective performances for face hallucination over some state-of-the-art methods.
updated: Tue Dec 15 2020 13:05:41 GMT+0000 (UTC)
published: Thu Oct 22 2020 10:09:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト