自己監視学習(SSL)は、さまざまなコンピュータービジョンタスクで大きな成功を収めています。ただし、これらのタスクでSSLがどのように機能するかについてのメカニズムは謎のままです。このホワイトペーパーでは、SSLがアウトオブディストリビューション(OOD)検出タスクのパフォーマンスをどのように向上させることができるかを調査します。最初に、優れたOOD検出器が持つべき2つの一般的な特性を指摘します。1)全体的な特徴空間を大きくする必要があり、2)内側の特徴空間を小さくする必要があります。次に、SSLが実際に特徴空間全体の内在次元を増加させることができることを示します。それまでの間、SSLはインライアの機能スペースを縮小する可能性さえあります。その結果、外れ値のために確保されるスペースが増え、OODの検出がはるかに簡単になります。 SSLがインライアの特徴空間を縮小できる条件についても説明し、検証します。 OOD検出タスクにおけるSSLの役割を理解することにより、私たちの研究は、より良いOOD検出アルゴリズムを設計するためのガイドラインを提供することができます。さらに、この作業は、SSLがパフォーマンスを向上させることができる他のタスクにも光を当てることができます。
Self-supervised learning (SSL) has achieved great success in a variety of computer vision tasks. However, the mechanism of how SSL works in these tasks remains a mystery. In this paper, we study how SSL can enhance the performance of the out-of-distribution (OOD) detection task. We first point out two general properties that a good OOD detector should have: 1) the overall feature space should be large and 2) the inlier feature space should be small. Then we demonstrate that SSL can indeed increase the intrinsic dimension of the overall feature space. In the meantime, SSL even has the potential to shrink the inlier feature space. As a result, there will be more space spared for the outliers, making OOD detection much easier. The conditions when SSL can shrink the inlier feature space is also discussed and validated. By understanding the role of SSL in the OOD detection task, our study can provide a guideline for designing better OOD detection algorithms. Moreover, this work can also shed light to other tasks where SSL can improve the performance.