arXiv reaDer
画像とテキストの自己監視により、視覚的なショートカット機能への依存が軽減されます
Self-Supervision on Images and Text Reduces Reliance on Visual Shortcut Features
完全に監視された方法でトレーニングされた深層学習モデルは、いわゆる「ショートカット」機能に依存することが示されています。ショートカット機能は、トレーニングデータの対象となる結果に関連付けられているが、関連付けられていないか、テストまたは展開の設定に存在しない入力です。ここでは、画像とテキストでトレーニングされた最近の自己監視モデルがより堅牢な画像表現を提供し、現実的な医用画像の例での視覚的なショートカット機能へのモデルの依存を減らすことを示す実験を提供します。さらに、これらの自己教師ありモデルは、ラベル付きデータを微調整すると、完全教師ありモデルよりも迅速にショートカット機能を「忘れる」ことがわかります。完全な解決策ではありませんが、私たちの実験は、画像とテキストでトレーニングされた自己監視モデルが視覚的なショートカット機能にある程度の回復力を提供するという説得力のある証拠を提供します。
Deep learning models trained in a fully supervised manner have been shown to rely on so-called "shortcut" features. Shortcut features are inputs that are associated with the outcome of interest in the training data, but are either no longer associated or not present in testing or deployment settings. Here we provide experiments that show recent self-supervised models trained on images and text provide more robust image representations and reduce the model's reliance on visual shortcut features on a realistic medical imaging example. Additionally, we find that these self-supervised models "forget" shortcut features more quickly than fully supervised ones when fine-tuned on labeled data. Though not a complete solution, our experiments provide compelling evidence that self-supervised models trained on images and text provide some resilience to visual shortcut features.
updated: Sun Jul 10 2022 20:45:12 GMT+0000 (UTC)
published: Tue Jun 14 2022 20:33:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト