arXiv reaDer
セマンティックセグメンテーションのための継続的なBatchNorm適応(CBNA)
Continual BatchNorm Adaptation (CBNA) for Semantic Segmentation
自動運転車の環境認識は、ドメインシフトの影響を受けるディープニューラルネットワーク(DNN)に大きく依存することが多く、DNN展開中のパフォーマンスが大幅に低下します。通常、この問題は、ソースドメインデータセットとターゲットドメインデータセットで同時にトレーニングされた、またはオフラインでターゲットデータのみでソースフリーでトレーニングされた教師なしドメイン適応(UDA)アプローチによって対処されます。この作業では、ソースフリーのUDAアプローチを、セマンティックセグメンテーションのための単一画像ベースの継続的でオンライン対応のUDAにさらに拡張します。したがって、私たちの方法では、サプライヤからの事前トレーニング済みモデル(ソースドメインでトレーニング済み)と現在の(ラベルなしのターゲットドメイン)カメラ画像のみが必要です。私たちのメソッドContinualBatchNormAdaptation(CBNA)は、教師なしの方法でターゲットドメインイメージを使用して、バッチ正規化レイヤーのソースドメイン統計を変更します。これにより、推論中に一貫したパフォーマンスが向上します。これにより、既存の作業とは対照的に、私たちのアプローチは、ソースデータへのアクセスなし、アルゴリズム遅延なし、およびほとんど計算オーバーヘッドなしで、展開中に単一イメージベースでDNNを継続的に改善するために適用できます。セマンティックセグメンテーションのさまざまなソース/ターゲットドメイン設定にわたって、この方法の一貫した有効性を示します。コードはhttps://github.com/ifnspaml/CBNAで入手できます。
Environment perception in autonomous driving vehicles often heavily relies on deep neural networks (DNNs), which are subject to domain shifts, leading to a significantly decreased performance during DNN deployment. Usually, this problem is addressed by unsupervised domain adaptation (UDA) approaches trained either simultaneously on source and target domain datasets or even source-free only on target data in an offline fashion. In this work, we further expand a source-free UDA approach to a continual and therefore online-capable UDA on a single-image basis for semantic segmentation. Accordingly, our method only requires the pre-trained model from the supplier (trained in the source domain) and the current (unlabeled target domain) camera image. Our method Continual BatchNorm Adaptation (CBNA) modifies the source domain statistics in the batch normalization layers, using target domain images in an unsupervised fashion, which yields consistent performance improvements during inference. Thereby, in contrast to existing works, our approach can be applied to improve a DNN continuously on a single-image basis during deployment without access to source data, without algorithmic delay, and nearly without computational overhead. We show the consistent effectiveness of our method across a wide variety of source/target domain settings for semantic segmentation. Code is available at https://github.com/ifnspaml/CBNA.
updated: Fri Jul 08 2022 21:27:58 GMT+0000 (UTC)
published: Wed Mar 02 2022 12:55:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト