私たちは、信頼性を確保する上で重要な側面である、深層学習モデルにおける分布外 (OOD) 検出の課題に焦点を当てています。多大な努力にもかかわらず、深層学習モデルは OOD 入力に対して自信過剰な予測を出力する傾向があるため、この問題は依然として非常に困難です。我々は、テキスト画像の事前トレーニング済みモデルをゼロショット方式で活用し、ドメイン内と OOD のさまざまな記述を組み込んだ、新しい 1 クラスのオープンセット OOD 検出器を提案します。私たちのアプローチは、ドメイン内にないものを検出するように設計されており、きめの細かいラベルや粗いラベル、さらには自然言語で定義されたさまざまな OOD を検出する柔軟性を提供します。私たちは、きめの細かい意味的に類似したクラス、分布的にシフトされた画像、ドメイン内オブジェクトと OOD オブジェクトが混在するマルチオブジェクト画像を含む大規模なデータセットを含む、困難なベンチマークに対するアプローチを評価します。私たちの方法は、すべてのベンチマークで以前の方法よりも優れたパフォーマンスを示しています。コードは https://github.com/gyhandy/One-Class-Anything で入手できます。
We focus on the challenge of out-of-distribution (OOD) detection in deep learning models, a crucial aspect in ensuring reliability. Despite considerable effort, the problem remains significantly challenging in deep learning models due to their propensity to output over-confident predictions for OOD inputs. We propose a novel one-class open-set OOD detector that leverages text-image pre-trained models in a zero-shot fashion and incorporates various descriptions of in-domain and OOD. Our approach is designed to detect anything not in-domain and offers the flexibility to detect a wide variety of OOD, defined via fine- or coarse-grained labels, or even in natural language. We evaluate our approach on challenging benchmarks including large-scale datasets containing fine-grained, semantically similar classes, distributionally shifted images, and multi-object images containing a mixture of in-domain and OOD objects. Our method shows superior performance over previous methods on all benchmarks. Code is available at https://github.com/gyhandy/One-Class-Anything