優れた進歩が見られたにもかかわらず、深層学習ベースのアルゴリズムのパフォーマンスは、特定のデータセットに大きく依存しています。特定のデータセットは、労働集約的なラベリングのために拡張するのが困難です。さらに、新しいアプリケーションの進歩により、データ注釈の初期定義が常に新しい機能の要件を満たすとは限りません。したがって、カスタマイズされたデータ注釈には常に大きな需要があります。上記の問題に対処するために、Few-Shot Model Adaptation(FSMA)フレームワークを提案し、Facesのいくつかの重要なタスクでその可能性を示します。 FSMAは、最初に、大規模なラベルなしデータを使用して敵対的なオートエンコーダーをトレーニングすることにより、堅牢な顔画像の埋め込みを取得します。次に、モデルに機能適応レイヤーと融合レイヤーが装備され、最小限の注釈付き画像を使用してターゲットタスクに効率的に適応します。 FSMAフレームワークは、さまざまな顔画像アプリケーションにわたるその汎用性で際立っています。 FSMAは、最先端の数ショットのランドマーク検出パフォーマンスを実現し、数ショットの顔のセグメンテーション、スタイル設定、および顔の影の除去タスクに初めて満足のいくソリューションを提供します。
Despite excellent progress has been made, the performance of deep learning based algorithms still heavily rely on specific datasets, which are difficult to extend due to labor-intensive labeling. Moreover, because of the advancement of new applications, initial definition of data annotations might not always meet the requirements of new functionalities. Thus, there is always a great demand in customized data annotations. To address the above issues, we propose the Few-Shot Model Adaptation (FSMA) framework and demonstrate its potential on several important tasks on Faces. The FSMA first acquires robust facial image embeddings by training an adversarial auto-encoder using large-scale unlabeled data. Then the model is equipped with feature adaptation and fusion layers, and adapts to the target task efficiently using a minimal amount of annotated images. The FSMA framework is prominent in its versatility across a wide range of facial image applications. The FSMA achieves state-of-the-art few-shot landmark detection performance and it offers satisfying solutions for few-shot face segmentation, stylization and facial shadow removal tasks for the first time.