バックグラウンド減算(BGS)は、多くのアプリケーションの重要なコンポーネントである基本的なビデオ処理タスクです。ディープラーニングベースの教師ありアルゴリズムは、BGSで非常に優れたパフォーマンスを実現しますが、これらのアルゴリズムのほとんどは、特定のビデオまたはビデオのグループ用に最適化されており、見えないビデオに適用するとパフォーマンスが大幅に低下します。最近、いくつかの論文がこの問題に取り組み、ビデオにとらわれない監視付きBGSアルゴリズムを提案しました。ただし、これらのアルゴリズムで使用されるほとんどすべてのデータ拡張は、空間ドメインに限定されており、ビデオデータで自然に発生する時間的変動を考慮していません。この作業では、時空間データの拡張を紹介し、それらを主要なビデオにとらわれないBGSアルゴリズムの1つであるBSUV-Netに適用します。また、CDNet-2014データセットの新しい相互検証トレーニングおよび評価戦略を紹介します。これにより、ビデオにとらわれないさまざまな監視対象BGSアルゴリズムのパフォーマンスを公正かつ簡単に比較できます。 BSUV-Net 2.0という名前の提案されたデータ拡張を使用してトレーニングされた新しいモデルは、CDNet-2014の目に見えないビデオで評価された最先端のアルゴリズムを大幅に上回っています。また、CDNet-2014ビデオのみでトレーニングし、LASIESTAデータセットでのパフォーマンスを評価することにより、BSUV-Net2.0のクロスデータセットの一般化能力を評価します。全体として、BSUV-Net 2.0は、CDNet-2014およびLASIESTAデータセットの目に見えないビデオで、最先端の方法よりもFスコアを約5%向上させます。さらに、モデルのリアルタイムバリアントを開発します。これは、Fast BSUV-Net 2.0と呼ばれ、そのパフォーマンスは最先端に近いものです。
Background subtraction (BGS) is a fundamental video processing task which is a key component of many applications. Deep learning-based supervised algorithms achieve very good perforamnce in BGS, however, most of these algorithms are optimized for either a specific video or a group of videos, and their performance decreases dramatically when applied to unseen videos. Recently, several papers addressed this problem and proposed video-agnostic supervised BGS algorithms. However, nearly all of the data augmentations used in these algorithms are limited to the spatial domain and do not account for temporal variations that naturally occur in video data. In this work, we introduce spatio-temporal data augmentations and apply them to one of the leading video-agnostic BGS algorithms, BSUV-Net. We also introduce a new cross-validation training and evaluation strategy for the CDNet-2014 dataset that makes it possible to fairly and easily compare the performance of various video-agnostic supervised BGS algorithms. Our new model trained using the proposed data augmentations, named BSUV-Net 2.0, significantly outperforms state-of-the-art algorithms evaluated on unseen videos of CDNet-2014. We also evaluate the cross-dataset generalization capacity of BSUV-Net 2.0 by training it solely on CDNet-2014 videos and evaluating its performance on LASIESTA dataset. Overall, BSUV-Net 2.0 provides a ~5% improvement in the F-score over state-of-the-art methods on unseen videos of CDNet-2014 and LASIESTA datasets. Furthermore, we develop a real-time variant of our model, that we call Fast BSUV-Net 2.0, whose performance is close to the state of the art.