arXiv reaDer
GENESIS-V2:反復的な改良なしで順序付けられていないオブジェクト表現を推測する
GENESIS-V2: Inferring Unordered Object Representations without Iterative Refinement
オブジェクト表現の教師なし学習の進歩は、教師なしオブジェクトのセグメンテーションと解釈可能なオブジェクト中心のシーン生成のための幅広い方法の開発に至りました。ただし、これらの方法は、視覚的な複雑さが制限されたシミュレーションおよび実世界のデータセットに限定されています。さらに、オブジェクト表現は、大きな画像にうまくスケーリングしないRNNや、画像内のオブジェクトに不自然な順序を課すことを回避する反復的な改良を使用して推測されることがよくありますが、固定数のオブジェクト表現を事前に初期化する必要があります。確立されたパラダイムとは対照的に、この作業では、確率的スティックブレイクプロセスを使用してピクセルの埋め込みを微分可能な方法でクラスター化する埋め込みベースのアプローチを提案します。反復的な改良と同様に、このクラスタリング手順もランダムに順序付けられたオブジェクト表現につながりますが、固定数のクラスターを事前に初期化する必要はありません。これは、新しいモデルGENESIS-v2を開発するために使用されます。このモデルは、RNNや反復的な改良を使用せずに、可変数のオブジェクト表現を推測できます。 GENESIS-v2は、確立された合成データセットやより複雑な実世界のデータセットでの教師なし画像セグメンテーションとオブジェクト中心のシーン生成に関して、最近のベースラインと比較して強力に機能することを示します。
Advances in unsupervised learning of object-representations have culminated in the development of a broad range of methods for unsupervised object segmentation and interpretable object-centric scene generation. These methods, however, are limited to simulated and real-world datasets with limited visual complexity. Moreover, object representations are often inferred using RNNs which do not scale well to large images or iterative refinement which avoids imposing an unnatural ordering on objects in an image but requires the a priori initialisation of a fixed number of object representations. In contrast to established paradigms, this work proposes an embedding-based approach in which embeddings of pixels are clustered in a differentiable fashion using a stochastic stick-breaking process. Similar to iterative refinement, this clustering procedure also leads to randomly ordered object representations, but without the need of initialising a fixed number of clusters a priori. This is used to develop a new model, GENESIS-v2, which can infer a variable number of object representations without using RNNs or iterative refinement. We show that GENESIS-v2 performs strongly in comparison to recent baselines in terms of unsupervised image segmentation and object-centric scene generation on established synthetic datasets as well as more complex real-world datasets.
updated: Tue Jan 25 2022 18:15:16 GMT+0000 (UTC)
published: Tue Apr 20 2021 14:59:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト