arXiv reaDer
潜在表現を解きほぐすことによるセグメンテーションネットワークの新しいドメインへの適応
Adapting Segmentation Networks to New Domains by Disentangling Latent Representations
深層学習モデルは、セマンティックセグメンテーションで卓越した精度を実現しますが、最適化には大量のラベル付きデータが必要です。したがって、ドメイン適応アプローチは、ラベルが豊富なソースドメインで取得した知識を、関連するラベルが不足しているターゲットドメインに転送するために機能します。ただし、このようなモデルは、トレーニングサンプルの統計的特性と完全に一致しない統計的特性を持つデータにうまく一般化されません。この作業では、セマンティックセグメンテーションのドメインの不一致を減らすために連携して機能する複数の潜在的な空間形成正則化戦略を設計し、注意深く分析します。特に、ドメインアラインメントを増やすための機能クラスタリング戦略、現在のバッチに存在しないものを含む異なるセマンティッククラスに属する機能を離して配置するための機能垂直制約、およびアクティブチャネルと非アクティブチャネルを分離するための機能ノルムアラインメント戦略を考案します。さらに、教師ありトレーニングと比較した適応戦略の相対的な有効性をキャプチャするための新しいパフォーマンスメトリックを提案します。合成から現実および現実から現実への適応シナリオにおけるフレームワークの有効性を検証し、複数の道路シーンのベンチマークで以前の最先端の方法を上回り、さまざまなバックボーンを使用します。
Deep learning models achieve outstanding accuracy in semantic segmentation, however they require a huge amount of labeled data for their optimization. Hence, domain adaptation approaches have come into play to transfer knowledge acquired on a label-abundant source domain to a related label-scarce target domain. However, such models do not generalize well to data with statistical properties not perfectly matching the ones of the training samples. In this work, we design and carefully analyze multiple latent space-shaping regularization strategies that work in conjunction to reduce the domain discrepancy in semantic segmentation. In particular, we devise a feature clustering strategy to increase domain alignment, a feature perpendicularity constraint to space apart feature belonging to different semantic classes, including those not present in the current batch, and a feature norm alignment strategy to separate active and inactive channels. Additionally, we propose a novel performance metric to capture the relative efficacy of an adaptation strategy compared to supervised training. We verify the effectiveness of our framework in synthetic-to-real and real-to-real adaptation scenarios, outperforming previous state-of-the-art methods on multiple road scenes benchmarks and using different backbones.
updated: Fri Aug 06 2021 09:43:07 GMT+0000 (UTC)
published: Fri Aug 06 2021 09:43:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト