コンピュータビジョンの中心的な問題として、オブジェクト検出のパフォーマンスは過去数年間で劇的に向上しました。それらの印象的な性能にもかかわらず、オブジェクト検出器は解釈可能性の欠如に悩まされています。視覚化技術が開発され、他の種類の深層学習モデルによって行われた決定を内省するために広く適用されています。ただし、オブジェクト検出器の視覚化は十分に検討されていません。この論文では、最新のオブジェクト検出器を理解するための主要なツールとして反転を使用し、レイアウト反転への最適化ベースのアプローチを開発することを提案します。これにより、トレーニングされた検出器によってオブジェクトの目的の構成が含まれていると認識される合成画像を生成できます。レイアウト反転技術をさまざまな最新のオブジェクト検出器に適用することにより、検出器の興味深い特性を明らかにし、検証実験を介してそれらをさらに調査します。それらは、分類と回帰のために質的に異なる機能に依存しています。彼らは、一般的に共起するオブジェクトの標準的なモチーフを学びます。さまざまな視覚的手がかりを使用して、さまざまなサイズのオブジェクトを認識します。私たちの洞察が、開業医がオブジェクト検出器を改善するのに役立つことを願っています。
As a core problem in computer vision, the performance of object detection has improved drastically in the past few years. Despite their impressive performance, object detectors suffer from a lack of interpretability. Visualization techniques have been developed and widely applied to introspect the decisions made by other kinds of deep learning models; however, visualizing object detectors has been underexplored. In this paper, we propose using inversion as a primary tool to understand modern object detectors and develop an optimization-based approach to layout inversion, allowing us to generate synthetic images recognized by trained detectors as containing a desired configuration of objects. We reveal intriguing properties of detectors by applying our layout inversion technique to a variety of modern object detectors, and further investigate them via validation experiments: they rely on qualitatively different features for classification and regression; they learn canonical motifs of commonly co-occurring objects; they use diff erent visual cues to recognize objects of varying sizes. We hope our insights can help practitioners improve object detectors.