arXiv reaDer
On the Global Optima of Kernelized Adversarial Representation Learning
 敵対的表現の学習は、ターゲット属性の予測に必要な情報を保持しながら、特定の機密属性に不変のデータ表現を取得するための有望なパラダイムです。既存のアプローチは、反復的な敵対的ミニマックス最適化を通じてこの問題を解決し、理論的な保証がありません。このペーパーでは、まずこの問題の「線形」形式、つまり、すべてのプレーヤーが線形関数である設定を調べます。結果の最適化問題は、非凸で微分不可能であることを示します。スペクトル学習を通じてそのグローバルな最適値の正確な閉形式表現を取得し、達成可能な効用と不変性の分析限界の観点からパフォーマンスを保証します。次に、このソリューションと分析を、カーネル表現を通じて非線形関数に拡張します。 UCI、Extended Yale B、CIFAR-100データセットの数値実験により、(a)実際には、私たちのソリューションは、偏った事前学習済みデータ表現に「証明可能な不変性を与える」のに理想的であり、(b)経験的に、トレードオフ当社のソリューションが提供する効用と不変性の間は、既存のディープニューラルネットワークベースのアプローチの反復ミニマックス最適化に匹敵します。コードはで入手できます
Adversarial representation learning is a promising paradigm for obtaining data representations that are invariant to certain sensitive attributes while retaining the information necessary for predicting target attributes. Existing approaches solve this problem through iterative adversarial minimax optimization and lack theoretical guarantees. In this paper, we first study the "linear" form of this problem i.e., the setting where all the players are linear functions. We show that the resulting optimization problem is both non-convex and non-differentiable. We obtain an exact closed-form expression for its global optima through spectral learning and provide performance guarantees in terms of analytical bounds on the achievable utility and invariance. We then extend this solution and analysis to non-linear functions through kernel representation. Numerical experiments on UCI, Extended Yale B and CIFAR-100 datasets indicate that, (a) practically, our solution is ideal for "imparting" provable invariance to any biased pre-trained data representation, and (b) empirically, the trade-off between utility and invariance provided by our solution is comparable to iterative minimax optimization of existing deep neural network based approaches. Code is available at
updated: Wed Dec 25 2019 16:41:09 GMT+0000 (UTC)
published: Wed Oct 16 2019 15:37:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト