何年にもわたる研究にもかかわらず、ドメイン外の一般化は、セマンティック セグメンテーションのためのディープ ネットワークの重大な弱点であり続けています。以前の研究は、静的モデルの仮定に依存していました。つまり、トレーニング プロセスが完了すると、モデル パラメーターはテスト時に固定されたままになります。この作業では、推論プロセスを各入力サンプルに合わせて調整するセマンティック セグメンテーションの自己適応型アプローチで、この前提に挑戦します。自己適応は 2 つのレベルで機能します。まず、ネットワーク内の畳み込み層のパラメーターを入力画像に合わせてカスタマイズする自己教師あり損失を採用しています。次に、バッチ正規化レイヤーでは、自己適応により、テスト データ全体の平均と分散が近似されますが、これは利用できないと想定されます。これは、トレーニングと単一のテスト サンプルから派生した参照分布との間を補間することによって実現されます。自己適応推論戦略を経験的に分析するために、以前の研究の深刻な制限に対処する厳密な評価プロトコルを開発し、それに従います。私たちの広範な分析は、驚くべき結論につながります。標準的なトレーニング手順を使用すると、自己適応は強力なベースラインよりも大幅に優れており、マルチドメイン ベンチマークで新しい最先端の精度を設定します。私たちの研究は、自己適応推論が、ドメイン外データへの深いネットワークの一般化を改善するために、トレーニング時にモデルの正則化の確立されたプラクティスを補完する可能性があることを示唆しています。
Despite years of research, out-of-domain generalization remains a critical weakness of deep networks for semantic segmentation. Previous studies relied on the assumption of a static model, i.e. once the training process is complete, model parameters remain fixed at test time. In this work, we challenge this premise with a self-adaptive approach for semantic segmentation that adjusts the inference process to each input sample. Self-adaptation operates on two levels. First, it employs a self-supervised loss that customizes the parameters of convolutional layers in the network to the input image. Second, in Batch Normalization layers, self-adaptation approximates the mean and the variance of the entire test data, which is assumed unavailable. It achieves this by interpolating between the training and the reference distribution derived from a single test sample. To empirically analyze our self-adaptive inference strategy, we develop and follow a rigorous evaluation protocol that addresses serious limitations of previous work. Our extensive analysis leads to a surprising conclusion: Using a standard training procedure, self-adaptation significantly outperforms strong baselines and sets new state-of-the-art accuracy on multi-domain benchmarks. Our study suggests that self-adaptive inference may complement the established practice of model regularization at training time for improving deep network generalization to out-of-domain data.