近年、多くのベンチマークで視覚認識に目覚ましい進歩が見られましたが、配布外の設定での現実世界への一般化は依然として重要な課題です。堅牢な視覚認識のための最先端の方法は、モデルアンサンブルです。ただし、最近、多入力多出力アーキテクチャ(MIMO)を使用することにより、はるかに少ないコストで同様の競争力のある結果を達成できることが示されました。この作業では、MIMOアプローチの一般化を、汎用のFasterR-CNNモデルを使用したオブジェクト検出のタスクに適用します。 MIMOフレームワークを使用すると、強力な特徴表現を構築でき、2つの入力/出力ペアのみを使用した場合に非常に競争力のある精度が得られることが示されました。さらに、標準のFaster R-CNNと比較して、モデルパラメータがわずか0.5%追加され、推論時間が15.9%増加します。また、モデルの精度、分布外の設定に対するロバスト性、および同じ数の予測が使用された場合の不確実性のキャリブレーションの点で、Deep Ensembleアプローチと同等に機能するか、それよりも優れています。この作業により、セマンティックセグメンテーションや深度推定などの他の高レベルタスクにMIMOアプローチを適用するための道が開かれます。
Recent years have seen impressive progress in visual recognition on many benchmarks, however, generalization to the real-world in out-of-distribution setting remains a significant challenge. A state-of-the-art method for robust visual recognition is model ensembling. however, recently it was shown that similarly competitive results could be achieved with a much smaller cost, by using multi-input multi-output architecture (MIMO). In this work, a generalization of the MIMO approach is applied to the task of object detection using the general-purpose Faster R-CNN model. It was shown that using the MIMO framework allows building strong feature representation and obtains very competitive accuracy when using just two input/output pairs. Furthermore, it adds just 0.5% additional model parameters and increases the inference time by 15.9% when compared to the standard Faster R-CNN. It also works comparably to, or outperforms the Deep Ensemble approach in terms of model accuracy, robustness to out-of-distribution setting, and uncertainty calibration when the same number of predictions is used. This work opens up avenues for applying the MIMO approach in other high-level tasks such as semantic segmentation and depth estimation.