arXiv reaDer
まばらな因果的介入による潜在的表現のもつれの解消
Disentanglement of Latent Representations via Sparse Causal Interventions
画像などのデータを生成するプロセスは、独立した未知の変動要因によって制御されます。これらの変数の検索は、もつれの解消、因果表現学習、および独立成分分析の分野で広く研究されています。最近、これらのドメインを一緒にマージするアプローチが大きな成功を収めています。変化の要因を直接表すのではなく、もつれの解消の問題は、単一の要因に変化をもたらす 1 つの画像上の介入を見つけることと見なすことができます。この仮定に続いて、因果関係理論とベクトル量子化された変分オートエンコーダーを組み合わせた、因果ダイナミクスに触発されたもつれを解くための新しい方法を紹介します。私たちのモデルは、量子化されたベクトルを因果変数と見なし、それらを因果グラフにリンクします。グラフに対して因果的介入を実行し、画像内の変動の固有の要因に影響を与えるアトミック トランジションを生成します。また、2 つの画像間の遷移の原因となるアクションを見つけることで構成されるアクション検索の新しいタスクを紹介します。標準的な合成データセットと実世界のもつれ解除データセットでメソッドをテストします。不均衡なデータ分布であっても、画像の品質に影響を与えることなく、変動の要因を効果的に解きほぐし、画像の高レベルのセマンティック属性に正確な介入を実行できることを示します。
The process of generating data such as images is controlled by independent and unknown factors of variation. The retrieval of these variables has been studied extensively in the disentanglement, causal representation learning, and independent component analysis fields. Recently, approaches merging these domains together have shown great success. Instead of directly representing the factors of variation, the problem of disentanglement can be seen as finding the interventions on one image that yield a change to a single factor. Following this assumption, we introduce a new method for disentanglement inspired by causal dynamics that combines causality theory with vector-quantized variational autoencoders. Our model considers the quantized vectors as causal variables and links them in a causal graph. It performs causal interventions on the graph and generates atomic transitions affecting a unique factor of variation in the image. We also introduce a new task of action retrieval that consists of finding the action responsible for the transition between two images. We test our method on standard synthetic and real-world disentanglement datasets. We show that it can effectively disentangle the factors of variation and perform precise interventions on high-level semantic attributes of an image without affecting its quality, even with imbalanced data distributions.
updated: Thu Feb 02 2023 04:37:29 GMT+0000 (UTC)
published: Thu Feb 02 2023 04:37:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト