自然主義的ビデオの変動の根本的な要因の非線形解きほぐしを達成する教師なし学習モデルを構築します。以前の研究では、環境内のいくつかの要素を除くすべての要素が常に一定である場合、表現がほどける可能性があることを示唆しています。その結果、この問題のために提案されたアルゴリズムは、この正確なプロパティを持つ注意深く構築されたデータセットでのみテストされ、自然のシーンに転送されるかどうかは不明のままです。ここでは、セグメント化された自然映画のオブジェクトが、一時的に大規模なジャンプを伴う、通常は大きさが小さい遷移を経験する証拠を提供します。この発見を活用して、SlowVAEを提示します。教師なし表現学習のモデルであり、時間的に隣接する観測にスパースを使用して、変化する因子の数を仮定せずに生成因子のもつれを解きます。私たちは、識別可能性の証明を提供し、モデルがいくつかの確立されたベンチマークデータセットの複雑な表現を確実に学習することを示します。さらに、自然ダイナミクス、Naturalスプライト、およびKITTIマスクを備えたビデオデータセットへの転送可能性を示します。これは、より自然なデータドメインに向けて解きほぐしの研究を導くためのベンチマークとして貢献します。
We construct an unsupervised learning model that achieves nonlinear disentanglement of underlying factors of variation in naturalistic videos. Previous work suggests that representations can be disentangled if all but a few factors in the environment stay constant at any point in time. As a result, algorithms proposed for this problem have only been tested on carefully constructed datasets with this exact property, leaving it unclear whether they will transfer to natural scenes. Here we provide evidence that objects in segmented natural movies undergo transitions that are typically small in magnitude with occasional large jumps, which is characteristic of a temporally sparse distribution. We leverage this finding and present SlowVAE, a model for unsupervised representation learning that uses a sparse prior on temporally adjacent observations to disentangle generative factors without any assumptions on the number of changing factors. We provide a proof of identifiability and show that the model reliably learns disentangled representations on several established benchmark datasets, often surpassing the current state-of-the-art. We additionally demonstrate transferability towards video datasets with natural dynamics, Natural Sprites and KITTI Masks, which we contribute as benchmarks for guiding disentanglement research towards more natural data domains.