arXiv reaDer
UM-Adapt: Unsupervised Multi-Task Adaptation Using Adversarial Cross-Task Distillation
  人間レベルの一般化を目指して、より高い伝達性を持つ適応可能な表現学習方法を探求する必要があります。ほとんどの既存のアプローチは、タスクの転送可能性とクロスドメイン適応に個別に対応しているため、一般化が制限されています。この論文では、UM-Adapt-空間的に構造化された予測タスクの教師なしドメイン適応を効果的に実行する統合フレームワークを提案し、同時にマルチタスク設定で個々のタスク全体でバランスの取れたパフォーマンスを維持します。これを実現するために、2つの新しい正則化戦略を提案します。 a)輪郭ベースのコンテンツ正則化(CCR)およびb)クロスタスク蒸留モジュールを使用したタスク間コヒーレンシーの活用。さらに、従来のアドホックドメイン識別器を回避し、エネルギー関数の出力としてクロスタスク蒸留損失を再利用して、入力ドメインの不一致を敵対的に最小化します。広範な実験を通じて、合成環境から自然環境へのドメインシフト下での複数のタスクに対して、学習した表現の優れた一般化可能性を同時に示します。 UM-Adaptは、ImageNet分類に関する最新の転送学習結果と、小規模なバックボーンネットでもPASCAL VOC 2007検出タスクで同等のパフォーマンスを実現します。さらに、結果として得られる半教師付きフレームワークは、NYUDとCityscapesデータセットの両方で、最新の完全に教師付きのマルチタスク学習の最新技術よりも優れています。
Aiming towards human-level generalization, there is a need to explore adaptable representation learning methods with greater transferability. Most existing approaches independently address task-transferability and cross-domain adaptation, resulting in limited generalization. In this paper, we propose UM-Adapt - a unified framework to effectively perform unsupervised domain adaptation for spatially-structured prediction tasks, simultaneously maintaining a balanced performance across individual tasks in a multi-task setting. To realize this, we propose two novel regularization strategies; a) Contour-based content regularization (CCR) and b) exploitation of inter-task coherency using a cross-task distillation module. Furthermore, avoiding a conventional ad-hoc domain discriminator, we re-utilize the cross-task distillation loss as output of an energy function to adversarially minimize the input domain discrepancy. Through extensive experiments, we demonstrate superior generalizability of the learned representations simultaneously for multiple tasks under domain-shifts from synthetic to natural environments. UM-Adapt yields state-of-the-art transfer learning results on ImageNet classification and comparable performance on PASCAL VOC 2007 detection task, even with a smaller backbone-net. Moreover, the resulting semi-supervised framework outperforms the current fully-supervised multi-task learning state-of-the-art on both NYUD and Cityscapes dataset.
updated: Mon Sep 16 2019 12:03:44 GMT+0000 (UTC)
published: Sun Aug 11 2019 10:52:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト