arXiv reaDer
Wanderlust:実世界でのオンライン継続オブジェクト検出
Wanderlust: Online Continual Object Detection in the Real World
動的環境でのデータストリームからのオンライン継続学習は、コンピュータビジョン分野の重要な方向性です。ただし、この行の現実的なベンチマークと基本的な研究はまだ不足しています。ギャップを埋めるために、自己中心的なビデオデータセットであるObjects Around Krishna(OAK)を使用して、新しいオンラインの継続的なオブジェクト検出ベンチマークを提示します。 OAKは、大学院生が9か月にわたって収集したエゴ中心のビデオストリームであるKrishnaCAMビデオを採用しています。 OAKは、屋外シーンの105のオブジェクトカテゴリに対して、80のビデオスニペット(約17.5時間)の徹底的なバウンディングボックス注釈を提供します。私たちのベンチマークでの新しいオブジェクトカテゴリの出現は、1人の人が日常生活で見る可能性のあるものと同様のパターンに従います。データセットは、人がさまざまな場所に移動するときの自然な分布の変化もキャプチャします。これらの自己中心的な長時間のビデオは、特にオンラインで具体化された設定で、継続的な学習アルゴリズムのための現実的な遊び場を提供します。また、モデルのパフォーマンスと壊滅的な忘却を評価するための新しい評価指標を導入し、オンラインの継続的なオブジェクト検出のためのベースライン調査を提供します。このベンチマークは、継続的な学習において非定常データから学習するための新たな刺激的な課題をもたらすと信じています。 OAKデータセットと関連するベンチマークは、https://oakdata.github.io/でリリースされています。
Online continual learning from data streams in dynamic environments is a critical direction in the computer vision field. However, realistic benchmarks and fundamental studies in this line are still missing. To bridge the gap, we present a new online continual object detection benchmark with an egocentric video dataset, Objects Around Krishna (OAK). OAK adopts the KrishnaCAM videos, an ego-centric video stream collected over nine months by a graduate student. OAK provides exhaustive bounding box annotations of 80 video snippets (~17.5 hours) for 105 object categories in outdoor scenes. The emergence of new object categories in our benchmark follows a pattern similar to what a single person might see in their day-to-day life. The dataset also captures the natural distribution shifts as the person travels to different places. These egocentric long-running videos provide a realistic playground for continual learning algorithms, especially in online embodied settings. We also introduce new evaluation metrics to evaluate the model performance and catastrophic forgetting and provide baseline studies for online continual object detection. We believe this benchmark will pose new exciting challenges for learning from non-stationary data in continual learning. The OAK dataset and the associated benchmark are released at https://oakdata.github.io/.
updated: Tue Sep 07 2021 20:14:00 GMT+0000 (UTC)
published: Wed Aug 25 2021 01:08:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト