ディープニューラルネットワーク(DNN)の一般化パフォーマンス評価のテストセットを補完する対照的な例として、データ変換を使用したトレーニング画像が提案されています。この作業では、DNN GeneRalizationパフォーマンス推定の対照的な例を使用する実用的なフレームワークContRE(「contre」という単語はフランス語で「に対して」または「対」を意味します)を提案します。具体的には、ContREは、優れた一般化パフォーマンスを備えた堅牢なDNNモデルが、さまざまなデータ変換の下で同じ画像から一貫した特徴のセットを抽出し、一貫した予測を行うことができるという対照学習の仮定に従います。 ContREは、トレーニングセット全体で適切に設計されたデータ変換のためのランダム化された戦略のセットを組み込んで、生成された対照的な例に分類エラーとフィッシャー比を採用して、テストセットを補完するディープモデルの一般化パフォーマンスを評価および分析します。 ContREの有効性と効率を示すために、3つのオープンソースベンチマークデータセットでさまざまなDNNモデルを使用して広範な実験が行われ、徹底的なアブレーション研究と適用性分析が行われました。私たちの実験結果は、(1)対照的な例での深いモデルの動作がテストセットでの動作と強く相関していること、および(2)ContREがさまざまな設定でのテストセットを補完する一般化パフォーマンスの堅牢な尺度であることを確認します。
Training images with data transformations have been suggested as contrastive examples to complement the testing set for generalization performance evaluation of deep neural networks (DNNs). In this work, we propose a practical framework ContRE (The word "contre" means "against" or "versus" in French.) that uses Contrastive examples for DNN geneRalization performance Estimation. Specifically, ContRE follows the assumption in contrastive learning that robust DNN models with good generalization performance are capable of extracting a consistent set of features and making consistent predictions from the same image under varying data transformations. Incorporating with a set of randomized strategies for well-designed data transformations over the training set, ContRE adopts classification errors and Fisher ratios on the generated contrastive examples to assess and analyze the generalization performance of deep models in complement with a testing set. To show the effectiveness and the efficiency of ContRE, extensive experiments have been done using various DNN models on three open source benchmark datasets with thorough ablation studies and applicability analyses. Our experiment results confirm that (1) behaviors of deep models on contrastive examples are strongly correlated to what on the testing set, and (2) ContRE is a robust measure of generalization performance complementing to the testing set in various settings.