arXiv reaDer
ASPIRE: 堅牢な画像分類のための言語ガイドによる拡張
ASPIRE: Language-Guided Augmentation for Robust Image Classification
ニューラル画像分類器は、多くの場合、トレーニング データ内のクラス ラベルと誤って相関する非予測特徴に過度に依存することで、予測を行う方法を学習する可能性があります。このため、そのような機能が存在しない現実の非典型的なシナリオではパフォーマンスが低下します。このような偽の特徴を含まない画像をトレーニング データセットに追加すると、より適切な一般化を通じて偽の相関に対する堅牢な学習を支援できます。この論文では、偽の特徴のない合成画像を使用してトレーニング データセットを拡張するためのシンプルかつ効果的なソリューションである ASPIRE (Language-guided data Augmentation for SPurIous correlation REmoval) を紹介します。 ASPIRE は、言語に基づいて、追加の監視や既存のサンプルを必要とせずに、これらのイメージを生成します。正確には、LLM を使用して、最初に画像のテキスト記述から前景と背景の特徴を抽出し、次に高度な言語ガイド付き画像編集を行って、クラス ラベルと誤って関連付けられている特徴を検出します。最後に、テキストから画像への生成モデルをパーソナライズして、偽の特徴のない多様なドメイン内画像を生成します。我々は、非常に困難な Hard ImageNet データセットを含む 4 つのデータセットと 9 つのベースラインに対する ASPIRE の有効性を実証し、ASPIRE が従来の手法の分類精度を 1% ~ 38% 向上させることを示します。コードはすぐに https://github.com/Sreyan88/ASPIRE でご覧いただけます。
Neural image classifiers can often learn to make predictions by overly relying on non-predictive features that are spuriously correlated with the class labels in the training data. This leads to poor performance in real-world atypical scenarios where such features are absent. Supplementing the training dataset with images without such spurious features can aid robust learning against spurious correlations via better generalization. This paper presents ASPIRE (Language-guided data Augmentation for SPurIous correlation REmoval), a simple yet effective solution for expanding the training dataset with synthetic images without spurious features. ASPIRE, guided by language, generates these images without requiring any form of additional supervision or existing examples. Precisely, we employ LLMs to first extract foreground and background features from textual descriptions of an image, followed by advanced language-guided image editing to discover the features that are spuriously correlated with the class label. Finally, we personalize a text-to-image generation model to generate diverse in-domain images without spurious features. We demonstrate the effectiveness of ASPIRE on 4 datasets, including the very challenging Hard ImageNet dataset, and 9 baselines and show that ASPIRE improves the classification accuracy of prior methods by 1% - 38%. Code soon at: https://github.com/Sreyan88/ASPIRE.
updated: Wed Nov 15 2023 00:14:08 GMT+0000 (UTC)
published: Sat Aug 19 2023 20:18:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト