arXiv reaDer
変換されたオンラインマルチスケール畳み込みスパースコーディングによるビデオ雨/雪除去
Video Rain/Snow Removal by Transformed Online Multiscale Convolutional Sparse Coding
  ビデオに雨/雪が存在すると、多くの監視システムのパフォーマンスが大幅に低下する可能性があるため、監視ビデオからのビデオの雨/雪の除去は、コンピュータビジョンコミュニティの重要なタスクです。さまざまな方法が広範囲に調査されてきましたが、ほとんどは安定した背景シーンの下での一貫した雨/雪のみを考慮しています。ただし、実用的な監視カメラからキャプチャされた雨/雪は、背景シーンが時折変換され、常に非常に動的です。この問題に対して、このペーパーでは、ビデオシーケンスから取得した雨/雪と背景シーンの両方の動的統計を完全に考慮した、新しい雨/雪除去アプローチを提案します。具体的には、雨/雪は、オンラインのマルチスケール畳み込みスパースコーディング(OMS-CSC)モデルとしてエンコードされます。これは、実際の雨/雪のスパース散乱とマルチスケール形状を細かく配信するだけでなく、それらの時間的に動的なモデル内のリアルタイム改善パラメーターによる構成。さらに、背景シーンに適用される変換演算子が提案モデルにさらに埋め込まれ、実際のビデオシーケンスに必然的に存在する回転、スケーリング、歪みなどの動的な背景変換を細かく伝えます。そのように構築されたアプローチは、背景の変化だけでなく動的な雨/雪にも自然によく適応でき、オンライン学習モードに起因するストリーミングビデオの処理にも適しています。提案されたモデルは、簡潔な最大事後(MAP)フレームワークで定式化され、ADMMアルゴリズムによって容易に解決されます。最先端のオンラインおよびオフラインビデオ雨/雪除去方法と比較して、提案された方法は、視覚的および定量的の両方で、合成および実際のビデオデータセットでより良いパフォーマンスを達成します。具体的には、この方法は比較的高い効率で実装でき、リアルタイムのビデオ雨/雪除去の可能性を示しています。
Video rain/snow removal from surveillance videos is an important task in the computer vision community since rain/snow existed in videos can severely degenerate the performance of many surveillance system. Various methods have been investigated extensively, but most only consider consistent rain/snow under stable background scenes. Rain/snow captured from practical surveillance camera, however, is always highly dynamic in time with the background scene transformed occasionally. To this issue, this paper proposes a novel rain/snow removal approach, which fully considers dynamic statistics of both rain/snow and background scenes taken from a video sequence. Specifically, the rain/snow is encoded as an online multi-scale convolutional sparse coding (OMS-CSC) model, which not only finely delivers the sparse scattering and multi-scale shapes of real rain/snow, but also well encodes their temporally dynamic configurations by real-time ameliorated parameters in the model. Furthermore, a transformation operator imposed on the background scenes is further embedded into the proposed model, which finely conveys the dynamic background transformations, such as rotations, scalings and distortions, inevitably existed in a real video sequence. The approach so constructed can naturally better adapt to the dynamic rain/snow as well as background changes, and also suitable to deal with the streaming video attributed its online learning mode. The proposed model is formulated in a concise maximum a posterior (MAP) framework and is readily solved by the ADMM algorithm. Compared with the state-of-the-art online and offline video rain/snow removal methods, the proposed method achieves better performance on synthetic and real videos datasets both visually and quantitatively. Specifically, our method can be implemented in relatively high efficiency, showing its potential to real-time video rain/snow removal.
updated: Fri Sep 13 2019 11:22:29 GMT+0000 (UTC)
published: Fri Sep 13 2019 11:22:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト