arXiv reaDer
時空間グラフカットによるイベントベースのモーションセグメンテーション
Event-based Motion Segmentation with Spatio-Temporal Graph Cuts
独立して動くオブジェクトを識別することは、動的なシーンを理解するための重要なタスクです。ただし、ダイナミックシーンで使用される従来のカメラは、サンプリング原理により、モーションブラーや露出アーチファクトの影響を受ける可能性があります。対照的に、イベントベースのカメラは、そのような制限を克服するための利点を提供する新しいバイオインスパイアードセンサーです。ピクセル単位の強度変化を非同期で報告するため、シーンのダイナミクスとまったく同じ速度で視覚情報を取得できます。イベントベースのカメラで取得した独立して動く物体を識別する方法、つまりイベントベースのモーションセグメンテーション問題を解決する方法を開発します。この問題を、複数のモーションモデルのフィッティングを含むエネルギー最小化問題としてキャストしました。入力イベントデータの構造を時空間グラフの形で活用することにより、イベントクラスターの割り当て(ラベリング)とモーションモデルのフィッティングという2つのサブ問題を共同で解決します。利用可能なデータセットでの実験は、さまざまなモーションパターンと移動オブジェクトの数を持つシーンでの方法の多様性を示しています。評価は、予想される移動オブジェクトの数を事前に決定する必要なしに、最先端の結果を示します。オープンソースライセンスの下でソフトウェアとデータセットをリリースし、イベントベースのモーションセグメンテーションの新たなトピックに関する研究を促進します。
Identifying independently moving objects is an essential task for dynamic scene understanding. However, traditional cameras used in dynamic scenes may suffer from motion blur or exposure artifacts due to their sampling principle. By contrast, event-based cameras are novel bio-inspired sensors that offer advantages to overcome such limitations. They report pixelwise intensity changes asynchronously, which enables them to acquire visual information at exactly the same rate as the scene dynamics. We develop a method to identify independently moving objects acquired with an event-based camera, i.e., to solve the event-based motion segmentation problem. We cast the problem as an energy minimization one involving the fitting of multiple motion models. We jointly solve two subproblems, namely event cluster assignment (labeling) and motion model fitting, in an iterative manner by exploiting the structure of the input event data in the form of a spatio-temporal graph. Experiments on available datasets demonstrate the versatility of the method in scenes with different motion patterns and number of moving objects. The evaluation shows state-of-the-art results without having to predetermine the number of expected moving objects. We release the software and dataset under an open source licence to foster research in the emerging topic of event-based motion segmentation.
updated: Fri Oct 29 2021 15:02:09 GMT+0000 (UTC)
published: Wed Dec 16 2020 04:06:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト