何十年にもわたる研究の後でも、動的なシーンの背景の再構築と前景のオブジェクトのセグメンテーションは、照明の変化、カメラの動き、乱気流や樹木の移動によって引き起こされる背景ノイズなどのさまざまな課題のため、未解決の問題と見なされています。この論文では、オートエンコーダを使用してフレームシーケンスの背景を低次元多様体としてモデル化し、このオートエンコーダによって提供される再構成された背景を元の画像と比較して、前景/背景セグメンテーションマスクを計算することを提案します。提案されたモデルの主な目新しさは、オートエンコーダがバックグラウンドノイズを予測するようにトレーニングされていることです。これにより、フレームごとにピクセル依存のしきい値を計算して、フォアグラウンドセグメンテーションを実行できます。提案されたモデルは時間情報や動き情報を使用しませんが、CDnet 2014およびLASIESTAデータセットの教師なし背景減算の最先端を超えており、カメラが動いているビデオが大幅に改善されています。また、一部の非ビデオ画像データセットで背景の再構築を実行することもできます。
Even after decades of research, dynamic scene background reconstruction and foreground object segmentation are still considered as open problems due various challenges such as illumination changes, camera movements, or background noise caused by air turbulence or moving trees. We propose in this paper to model the background of a frame sequence as a low dimensional manifold using an autoencoder and compare the reconstructed background provided by this autoencoder with the original image to compute the foreground/background segmentation masks. The main novelty of the proposed model is that the autoencoder is also trained to predict the background noise, which allows to compute for each frame a pixel-dependent threshold to perform the foreground segmentation. Although the proposed model does not use any temporal or motion information, it exceeds the state of the art for unsupervised background subtraction on the CDnet 2014 and LASIESTA datasets, with a significant improvement on videos where the camera is moving. It is also able to perform background reconstruction on some non-video image datasets.