arXiv reaDer
クラスはコンテキストに対して不変であり、その逆: 分布外一般化のための不変性の学習について
Class Is Invariant to Context and Vice Versa: On Learning Invariance for Out-Of-Distribution Generalization
Out-Of-Distribution Generalization (OOD) とは、環境の変化に対する不変性を学習することです。すべてのクラスのコンテキストが均等に分散されている場合、OOD は自明です。これは、基礎となる原則 (クラスはコンテキストに対して不変) により、コンテキストを簡単に削除できるためです。ただし、このようなバランスの取れたデータセットを収集することは実際的ではありません。不均衡なデータを学習すると、モデルがコンテキストに偏り、OOD が損なわれます。したがって、OOD の鍵はコンテキスト バランスです。以前の研究で広く採用されている仮定であるコンテキストバイアスは、バイアスされたクラス予測から直接注釈を付けたり推定したりでき、コンテキストを不完全または不正確にすることさえあると主張します。対照的に、上記の原則のこれまで見過ごされてきた別の側面を指摘します。コンテキストはクラスに対しても不変であり、コンテキスト バイアス (コンテキスト ラベルなし) を解決するためにクラス (既にラベル付けされている) をさまざまな環境と見なすように動機付けます。クラス内のサンプル類似性の対照的な損失を最小限に抑えながら、この類似性がすべてのクラスで不変であることを保証することにより、このアイデアを実装します。さまざまなコンテキスト バイアスとドメイン ギャップを含むベンチマークで、コンテキスト推定を備えた単純な再重み付けベースの分類器が最先端のパフォーマンスを達成することを示します。 https://github.com/simpleshinobu/IRMCon の付録とコードに理論的な正当性を示します。
Out-Of-Distribution generalization (OOD) is all about learning invariance against environmental changes. If the context in every class is evenly distributed, OOD would be trivial because the context can be easily removed due to an underlying principle: class is invariant to context. However, collecting such a balanced dataset is impractical. Learning on imbalanced data makes the model bias to context and thus hurts OOD. Therefore, the key to OOD is context balance. We argue that the widely adopted assumption in prior work, the context bias can be directly annotated or estimated from biased class prediction, renders the context incomplete or even incorrect. In contrast, we point out the everoverlooked other side of the above principle: context is also invariant to class, which motivates us to consider the classes (which are already labeled) as the varying environments to resolve context bias (without context labels). We implement this idea by minimizing the contrastive loss of intra-class sample similarity while assuring this similarity to be invariant across all classes. On benchmarks with various context biases and domain gaps, we show that a simple re-weighting based classifier equipped with our context estimation achieves state-of-the-art performance. We provide the theoretical justifications in Appendix and codes on https://github.com/simpleshinobu/IRMCon.
updated: Fri Mar 31 2023 05:56:37 GMT+0000 (UTC)
published: Sat Aug 06 2022 08:09:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト