十分に解きほぐされた表現を使用すると、サンプル効率の向上や解釈可能性の向上など、下流のタスクに多くの利点がもたらされます。ただし、解きほぐされた解釈の品質は、多くの場合、データセット固有のハイパーパラメーターの選択、特に正則化の強度に大きく依存します。この問題に対処するために、変分オートエンコーダーの新しいトレーニング手順である DAVA を紹介します。 DAVA は、ハイパーパラメータ選択の問題を完全に軽減します。 DAVA を最適なハイパーパラメータを持つモデルと比較します。ハイパーパラメータを調整しなくても、DAVA は一般的に使用されるさまざまなデータセットで競争力を発揮します。 DAVA の根底にあるのは、パイプと呼ばれる教師なしのもつれを解くための必要条件です。抽象的な推論で下流モデルのパフォーマンスを積極的に予測する PIPE の能力を示します。また、既存の教師ありおよび教師なし指標との相関関係も徹底的に調査します。コードは https://github.com/besterma/dava で入手できます。
The use of well-disentangled representations offers many advantages for downstream tasks, e.g. an increased sample efficiency, or better interpretability. However, the quality of disentangled interpretations is often highly dependent on the choice of dataset-specific hyperparameters, in particular the regularization strength. To address this issue, we introduce DAVA, a novel training procedure for variational auto-encoders. DAVA completely alleviates the problem of hyperparameter selection. We compare DAVA to models with optimal hyperparameters. Without any hyperparameter tuning, DAVA is competitive on a diverse range of commonly used datasets. Underlying DAVA, we discover a necessary condition for unsupervised disentanglement, which we call PIPE. We demonstrate the ability of PIPE to positively predict the performance of downstream models in abstract reasoning. We also thoroughly investigate correlations with existing supervised and unsupervised metrics. The code is available at https://github.com/besterma/dava.