arXiv reaDer
Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation
視覚的なドメイン適応におけるドメインの不一致により、ターゲットドメインの決定境界近くの高いデータ密度にぶつかると、ソースモデルのパフォーマンスが低下します。一般的な解決策は、シャノンエントロピーを最小化して、決定境界を高密度領域から遠ざけることです。ただし、エントロピーの最小化は予測の多様性の大幅な低下にもつながり、残念ながらドメインの適応に悪影響を及ぼします。本論文では、ランダムに選択されたデータバッチの分類出力行列の構造を研究することにより、予測の識別可能性と多様性を調査します。理論的分析により、予測の識別可能性と多様性は、バッチ出力行列のフロベニウスノルムとランクによって別々に測定できることがわかりました。核ノルムは前者の上限であり、後者の凸近似です。そこで、ターゲット予測能力を高めるためにターゲット出力行列で核ノルム最大化を実行するバッチ核ノルム最大化と最小化、およびソースドメイン知識の適用性を高めるためにソースバッチ出力行列で核ノルム最小化を提案します。さらに、核ノルムをL_1,2-ノルムで近似し、多数のカテゴリで安定したソリューションを実現するためのマルチバッチ最適化を設計します。高速近似法は、O(n ^ 2)の計算の複雑さとより良い収束特性を実現します。実験は、私たちの方法が3つの典型的なドメイン適応シナリオの下で適応の精度とロバスト性を高めることができることを示しています。コードはで入手できます。
Due to the domain discrepancy in visual domain adaptation, the performance of source model degrades when bumping into the high data density near decision boundary in target domain. A common solution is to minimize the Shannon Entropy to push the decision boundary away from the high density area. However, entropy minimization also leads to severe reduction of prediction diversity, and unfortunately brings harm to the domain adaptation. In this paper, we investigate the prediction discriminability and diversity by studying the structure of the classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. The nuclear-norm is an upperbound of the former, and a convex approximation of the latter. Accordingly, we propose Batch Nuclear-norm Maximization and Minimization, which performs nuclear-norm maximization on the target output matrix to enhance the target prediction ability, and nuclear-norm minimization on the source batch output matrix to increase applicability of the source domain knowledge. We further approximate the nuclear-norm by L_1,2-norm, and design multi-batch optimization for stable solution on large number of categories. The fast approximation method achieves O(n^2) computational complexity and better convergence property. Experiments show that our method could boost the adaptation accuracy and robustness under three typical domain adaptation scenarios. The code is available at
updated: Mon Jul 19 2021 15:25:38 GMT+0000 (UTC)
published: Tue Jul 13 2021 15:08:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト