arXiv reaDer
Tree-gated Deep Mixture-of-Experts For Pose-robust Face Alignment
  顔の位置合わせは、顔画像上の形状モデルの位置合わせで構成されます。多くの顔分析および合成アプリケーションの前処理であるため、コンピュータービジョンのアクティブドメインです。現在の最先端の方法は、「簡単な」データセットですでに適度に機能しますが、頭部のポーズは中程度ですが、最大90 {\ deg。の「インザワイルド」データにはロバストではない場合があります。変動要因の集合体(たとえば、頭部姿勢または閉塞)に対する堅牢性を高めるために、特定のレイヤー(リグレッサーまたはアップストリームCNNレイヤー)を、次のアンサンブルを使用するエキスパートの混合(MoE)レイヤーに置き換えることができます。単一のエキスパートではなくエキスパート。この混合物の重みは、エキスパートと対応する重みを共同で学習するゲーティング関数として学習できます。この論文では、専門家の階層的な重み付けを可能にするツリー構造のゲートを使用することを提案します(Tree-MoE)。まず、カスケード回帰を使用した顔アライメントのフレーム内のさまざまなコンテキストでのTree-MoEレイヤーの使用を調査します。まず、頭部ポーズ(Pose-Tree-MoE)などの高レベルのセマンティック情報に応じて、関連する、より専門的な特徴抽出器を強調します、第二に、全体的なより堅牢な回帰層として。いくつかの挑戦的な顔アライメントデータセットで広範な実験を行い、この手法が最先端の方法よりも優れていることを示しています。
Face alignment consists of aligning a shape model on a face image. It is an active domain in computer vision as it is a preprocessing for a number of face analysis and synthesis applications. Current state-of-the-art methods already perform well on "easy" datasets, with moderate head pose variations, but may not be robust for "in-the-wild" data with poses up to 90{\deg. In order to increase robustness to an ensemble of factors of variations (e.g. head pose or occlusions), a given layer (e.g. a regressor or an upstream CNN layer) can be replaced by a Mixture of Experts (MoE) layer that uses an ensemble of experts instead of a single one. The weights of this mixture can be learned as gating functions to jointly learn the experts and the corresponding weights. In this paper, we propose to use tree-structured gates which allows a hierarchical weighting of the experts (Tree-MoE). We investigate the use of Tree-MoE layers in different contexts in the frame of face alignment with cascaded regression, firstly for emphasizing relevant, more specialized feature extractors depending of a high-level semantic information such as head pose (Pose-Tree-MoE), and secondly as an overall more robust regression layer. We perform extensive experiments on several challenging face alignment datasets, demonstrating that our approach outperforms the state-of-the-art methods.
updated: Mon Oct 21 2019 15:30:20 GMT+0000 (UTC)
published: Mon Oct 21 2019 15:30:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト