分布外 (OOD) 入力の検出は、オープン ワールドのニューラル ネットワークにとって重要な問題です。ただし、トレーニング中の最適化軌道に沿った OOD 検出の不安定な動作は、明確に調査されていません。このホワイト ペーパーでは、最初に、OOD 検出のパフォーマンスがトレーニング中のオーバーフィッティングと不安定性に悩まされていることを発見しました。私たちの調査結果に基づいて、不安定な動作を軽減するために、モデルの平均化と枝刈りからなる枝刈りの平均 (AoP) を提案します。具体的には、モデルの平均化はランドスケープを平滑化することで安定したパフォーマンスを達成するのに役立ち、プルーニングは冗長な機能を排除することでオーバーフィッティングを排除することが認定されています。さまざまなデータセットとアーキテクチャに関する包括的な実験を実施して、この方法の有効性を検証します。
Detecting Out-of-distribution (OOD) inputs have been a critical issue for neural networks in the open world. However, the unstable behavior of OOD detection along the optimization trajectory during training has not been explored clearly. In this paper, we first find the performance of OOD detection suffers from overfitting and instability during training: 1) the performance could decrease when the training error is near zero, and 2) the performance would vary sharply in the final stage of training. Based on our findings, we propose Average of Pruning (AoP), consisting of model averaging and pruning, to mitigate the unstable behaviors. Specifically, model averaging can help achieve a stable performance by smoothing the landscape, and pruning is certified to eliminate the overfitting by eliminating redundant features. Comprehensive experiments on various datasets and architectures are conducted to verify the effectiveness of our method.