arXiv reaDer
ドメイン一般化セマンティック セグメンテーションのための適応様式化変調
Adaptive Stylization Modulation for Domain Generalization Semantic Segmentation
モデルのトレーニングに十分なラベル付きデータを取得することは、ほとんどの実際のアプリケーションでは現実的ではありません。したがって、セマンティック セグメンテーション タスクのドメイン一般化の問題に対処して、追加データを取得してラベルを付ける必要性を減らします。ドメイン一般化に関する最近の研究では、画像の色、スタイル、テクスチャなどのドメインバリアント機能を変更することで、データの多様性を高めています。ただし、スタイルを過度に設定したり、均一に設定したりすると、パフォーマンスが低下する可能性があります。パフォーマンスの低下は、少数派クラスのピクセルで特に顕著であり、多数派クラスのピクセルと比較して分類がすでに困難になっています。したがって、ピクセルのセマンティック コンテンツに応じて各ピクセルのスタイル設定の強度を調整するモジュール ASH_+ を導入します。この作業では、定型化されたソース ドメイン画像の元のソース ドメイン機能と、定型化された機能の要素単位およびチャネル単位の比率のバランスをとるパラメーターも導入します。この学習されたパラメーターは、経験的に決定されたグローバル ハイパーパラメーターを置き換え、出力様式化された画像をよりきめ細かく制御できるようにします。提案手法の有効性を検証するために複数の実験を行います。最後に、公開されているベンチマーク セマンティック セグメンテーション データセット (Cityscapes および SYNTHIA) でモデルを評価します。定量的および定性的な比較は、私たちのアプローチが最先端の技術に匹敵することを示しています。コードは https://github.com/placeholder で入手できます
Obtaining sufficient labelled data for model training is impractical for most real-life applications. Therefore, we address the problem of domain generalization for semantic segmentation tasks to reduce the need to acquire and label additional data. Recent work on domain generalization increase data diversity by varying domain-variant features such as colour, style and texture in images. However, excessive stylization or even uniform stylization may reduce performance. Performance reduction is especially pronounced for pixels from minority classes, which are already more challenging to classify compared to pixels from majority classes. Therefore, we introduce a module, ASH_+, that modulates stylization strength for each pixel depending on the pixel's semantic content. In this work, we also introduce a parameter that balances the element-wise and channel-wise proportion of stylized features with the original source domain features in the stylized source domain images. This learned parameter replaces an empirically determined global hyperparameter, allowing for more fine-grained control over the output stylized image. We conduct multiple experiments to validate the effectiveness of our proposed method. Finally, we evaluate our model on the publicly available benchmark semantic segmentation datasets (Cityscapes and SYNTHIA). Quantitative and qualitative comparisons indicate that our approach is competitive with state-of-the-art. Code is made available at https://github.com/placeholder
updated: Tue Apr 18 2023 23:54:20 GMT+0000 (UTC)
published: Tue Apr 18 2023 23:54:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト