arXiv reaDer
Task-Assisted Domain Adaptation with Anchor Tasks
 表面法線やシングルビュー深度推定などの一部のタスクには、ピクセルごとのグラウンドトゥルースが必要です。これは、実際の画像では取得が困難ですが、合成では簡単に取得できます。ただし、合成画像で学習したモデルは、ドメインシフトのために実際の画像に一般化できないことがよくあります。ドメイン適応を改善するための重要なアイデアは、アノテーションを無料で取得できるか、合成データセットと実際のデータセットの両方で既に利用できるアノテーションの個別のアンカータスク(顔のランドマークなど)を導入することです。アンカータスクとメインタスクの暗黙的な関係をさらに活用するために、最終的なネットワークレイヤーを持つソースドメインでクロスタスクガイダンスを学習する\ freezeテクニックを適用し、ターゲットドメインで使用します。 2種類のアンカータスク(セマンティックセグメンテーションと顔のランドマーク)を使用した2組のデータセット(屋内シーンと顔)の表面法線推定の方法を評価します。ドメイン適応を盲目的に適用するか、1つのドメインのみで補助タスクをトレーニングするとパフォーマンスが低下する可能性がありますが、両方のドメインでアンカータスクを使用する方が適切に動作します。私たちの\ freezeテクニックは競合するアプローチよりも優れており、シェーディングドメインの知識からの形状を使用した最近人気のある表面法線推定法と同等の顔画像のパフォーマンスに達します。
Some tasks, such as surface normals or single-view depth estimation, require per-pixel ground truth that is difficult to obtain on real images but easy to obtain on synthetic. However, models learned on synthetic images often do not generalize well to real images due to the domain shift. Our key idea to improve domain adaptation is to introduce a separate anchor task (such as facial landmarks) whose annotations can be obtained at no cost or are already available on both synthetic and real datasets. To further leverage the implicit relationship between the anchor and main tasks, we apply our \freeze technique that learns the cross-task guidance on the source domain with the final network layers, and use it on the target domain. We evaluate our methods on surface normal estimation on two pairs of datasets (indoor scenes and faces) with two kinds of anchor tasks (semantic segmentation and facial landmarks). We show that blindly applying domain adaptation or training the auxiliary task on only one domain may hurt performance, while using anchor tasks on both domains is better behaved. Our \freeze technique outperforms competing approaches, reaching performance in facial images on par with a recently popular surface normal estimation method using shape from shading domain knowledge.
updated: Tue Nov 10 2020 01:46:18 GMT+0000 (UTC)
published: Fri Aug 16 2019 17:59:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト