arXiv reaDer
テクスチャの共起とテクスチャのバイアス除去とドメイン適応のための空間的自己相似性を備えたコンテンツ保存画像翻訳
Content Preserving Image Translation with Texture Co-occurrence and Spatial Self-Similarity for Texture Debiasing and Domain Adaptation
テクスチャバイアスのあるデータセットでトレーニングされたモデルは、バイアスのある表現がモデルに埋め込まれているため、通常、分布外のサンプルではパフォーマンスが低下します。最近、さまざまな画像変換およびバイアス除去方法が、ダウンストリームタスクのテクスチャバイアス表現を解きほぐそうとしましたが、他の関連情報を変更せずにバイアスされた特徴を正確に破棄することは依然として困難です。この論文では、画像変換を活用して、ソース画像のコンテンツと異なるバイアスプロパティを持つターゲット画像のテクスチャを使用して追加のトレーニング画像を生成し、ターゲットタスクでモデルをトレーニングするときにテクスチャバイアスを明示的に軽減する新しいフレームワークを提案します。 。私たちのモデルは、空間的な自己相似性の損失でソース画像からのコンテンツの詳細を保持しながら、テクスチャの共起損失を介してターゲットと生成された画像間のテクスチャの類似性を保証します。生成されたトレーニング画像と元のトレーニング画像の両方が組み合わされて、一貫性のないテクスチャバイアスに対してロバストな改善された分類またはセグメンテーションモデルがトレーニングされます。既知のテクスチャバイアスを持つ5つの分類データセットと2つのセグメンテーションデータセットの評価は、私たちの方法の有用性を示し、すべての場合において最近の最先端の方法に比べて大幅な改善を報告します。
Models trained on datasets with texture bias usually perform poorly on out-of-distribution samples since biased representations are embedded into the model. Recently, various image translation and debiasing methods have attempted to disentangle texture biased representations for downstream tasks, but accurately discarding biased features without altering other relevant information is still challenging. In this paper, we propose a novel framework that leverages image translation to generate additional training images using the content of a source image and the texture of a target image with a different bias property to explicitly mitigate texture bias when training a model on a target task. Our model ensures texture similarity between the target and generated images via a texture co-occurrence loss while preserving content details from source images with a spatial self-similarity loss. Both the generated and original training images are combined to train improved classification or segmentation models robust to inconsistent texture bias. Evaluation on five classification- and two segmentation-datasets with known texture biases demonstrates the utility of our method, and reports significant improvements over recent state-of-the-art methods in all cases.
updated: Tue Jul 19 2022 06:21:11 GMT+0000 (UTC)
published: Fri Oct 15 2021 08:04:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト