arXiv reaDer
Spelkeオブジェクト推論による実世界画像の教師なしセグメンテーション
Unsupervised Segmentation in Real-World Images via Spelke Object Inference
実世界の画像のオブジェクトへの自己監視されたカテゴリにとらわれないセグメンテーションは、コンピュータビジョンにおける挑戦的な開かれた問題です。ここでは、Spelkeオブジェクトの認知科学の概念に基づいて、モーションの自己監視から静的なグループ化の優先順位を学習する方法を示します。オプティカルフローの推定値から学習して静的シーンのペアワイズアフィニティグラフを抽出する興奮抑制セグメント抽出ネットワーク(EISEN)を紹介します。次に、EISENは、新しいグラフ伝播および競合メカニズムを使用して、アフィニティからセグメントを生成します。独立したモーションソース(ロボットアームなど)とそれらが移動するオブジェクトの間の相関関係は、ブートストラップトレーニングプロセスを通じて別々のセグメントに解決されます。 EISENが、挑戦的な合成および実世界のロボット画像データセットでの自己監視セグメンテーションの最先端技術を大幅に改善することを示します。また、EISENアーキテクチャの各要素の重要性を示すアブレーション分析も示します。
Self-supervised category-agnostic segmentation of real-world images into objects is a challenging open problem in computer vision. Here, we show how to learn static grouping priors from motion self-supervision, building on the cognitive science notion of Spelke Objects: groupings of stuff that move together. We introduce Excitatory-Inhibitory Segment Extraction Network (EISEN), which learns from optical flow estimates to extract pairwise affinity graphs for static scenes. EISEN then produces segments from affinities using a novel graph propagation and competition mechanism. Correlations between independent sources of motion (e.g. robot arms) and objects they move are resolved into separate segments through a bootstrapping training process. We show that EISEN achieves a substantial improvement in the state of the art for self-supervised segmentation on challenging synthetic and real-world robotic image datasets. We also present an ablation analysis illustrating the importance of each element of the EISEN architecture.
updated: Tue May 17 2022 17:39:24 GMT+0000 (UTC)
published: Tue May 17 2022 17:39:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト