arXiv reaDer
分割された注意: 状況に応じて分離されたスロットによる教師なしの複数オブジェクトの発見
Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots
グラウンド トゥルースや監督なしでトレーニングされた、独立して動く領域に視野を分割する方法を紹介します。これは、Slot Attention に基づく敵対的条件付きエンコーダー/デコーダー アーキテクチャで構成され、画像自体を再構築しようとせずにオプティカル フローをデコードするためのコンテキストとして画像を使用するように変更されています。結果として得られるマルチモーダル表現では、1 つのモダリティ (フロー) がエンコーダーにフィードして個別の潜在コード (スロット) を生成し、もう 1 つのモダリティ (画像) がデコーダーを調整して、スロットから最初の (フロー) を生成します。この設計により、シーンの照明や反射特性などに起因する画像の複雑な厄介な変動性をエンコードする必要がなくなります。再構成エラーの最小化に基づく通常の自動エンコードは、フロー全体が単一のスロットにエンコードされることを妨げないため、コンテキスト情報分離に基づいて損失を敵対的基準に変更します。結果として得られる最小最大最適化は、オブジェクトの分離とそれらの異なる注意スロットへの割り当てを助長し、Divided Attention (DivA) につながります。 DivA は、最近の教師なしマルチオブジェクト モーション セグメンテーション メソッドよりも優れていますが、ランタイム速度は最大 104FPS まで 3 倍になり、教師ありメソッドとのパフォーマンス ギャップは 12% 以下に減少します。 DivA は、トレーニング時とテスト時にさまざまな数のオブジェクトとさまざまな画像サイズを処理でき、オブジェクト ラベルの順列に対して不変であり、明示的な正則化を必要としません。
We introduce a method to segment the visual field into independently moving regions, trained with no ground truth or supervision. It consists of an adversarial conditional encoder-decoder architecture based on Slot Attention, modified to use the image as context to decode optical flow without attempting to reconstruct the image itself. In the resulting multi-modal representation, one modality (flow) feeds the encoder to produce separate latent codes (slots), whereas the other modality (image) conditions the decoder to generate the first (flow) from the slots. This design frees the representation from having to encode complex nuisance variability in the image due to, for instance, illumination and reflectance properties of the scene. Since customary autoencoding based on minimizing the reconstruction error does not preclude the entire flow from being encoded into a single slot, we modify the loss to an adversarial criterion based on Contextual Information Separation. The resulting min-max optimization fosters the separation of objects and their assignment to different attention slots, leading to Divided Attention, or DivA. DivA outperforms recent unsupervised multi-object motion segmentation methods while tripling run-time speed up to 104FPS and reducing the performance gap from supervised methods to 12% or less. DivA can handle different numbers of objects and different image sizes at training and test time, is invariant to permutation of object labels, and does not require explicit regularization.
updated: Thu Jun 22 2023 23:30:10 GMT+0000 (UTC)
published: Tue Apr 04 2023 00:26:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト