深層学習モデルは、多くの視覚タスクで最先端のパフォーマンスを達成していますが、高次元のマルチモーダルデータの一般化、および信頼性の高い予測不確実性の推定は、依然として活発な研究分野です。ベイジアンニューラルネット(BNN)を含むベイジアンアプローチは、トレーニングが難しく、データセットシフト下での一般化が不十分であるため、最新のコンピュータービジョンタスクにうまく対応できません。これは、一般化して信頼できる不確実性の推定値を与えることができる効果的なアンサンブルの必要性を動機付けます。この論文では、予測の多様性を促進することにより、ニューラルネットワークの効果的なアンサンブルを生成する問題を対象としています。確率的潜在変数を学習するための敵対的損失を誘発する多様性を明示的に最適化し、それによってマルチモーダルデータのモデリングに必要な出力予測の多様性を取得します。ベンチマークデータセット(MNIST、CIFAR100、TinyImageNet、MIT Places 2)でメソッドを評価し、最も競合するベースラインと比較して、データ分布の変化と分布外の検出において、分類精度が大幅に向上していることを示しています。コードはこのURLでリリースされますhttps://github.com/rvl-lab-utoronto/dibs
Although deep learning models have achieved state-of-the-art performance on a number of vision tasks, generalization over high dimensional multi-modal data, and reliable predictive uncertainty estimation are still active areas of research. Bayesian approaches including Bayesian Neural Nets (BNNs) do not scale well to modern computer vision tasks, as they are difficult to train, and have poor generalization under dataset-shift. This motivates the need for effective ensembles which can generalize and give reliable uncertainty estimates. In this paper, we target the problem of generating effective ensembles of neural networks by encouraging diversity in prediction. We explicitly optimize a diversity inducing adversarial loss for learning the stochastic latent variables and thereby obtain diversity in the output predictions necessary for modeling multi-modal data. We evaluate our method on benchmark datasets: MNIST, CIFAR100, TinyImageNet and MIT Places 2, and compared to the most competitive baselines show significant improvements in classification accuracy, under a shift in the data distribution and in out-of-distribution detection. Code will be released in this url https://github.com/rvl-lab-utoronto/dibs