ディープラーニング(DL)ベースのビデオドレイン方法は最近大きな成功を収めていますが、それでも2つの大きな欠点があります。第一に、それらのほとんどは、雨のビデオの雨層の特性を十分にモデル化していない。実際、雨層は、空間的次元では強い物理的特性(たとえば、方向、スケール、厚さ)を示し、時間的次元では自然な連続性を示します。したがって、一般に、統計の時空間プロセスによってモデル化できます。第二に、現在のDLベースの方法は、ラベル付けされた合成トレーニングデータに大きく依存しており、その雨のタイプは、ラベル付けされていない実際のデータの雨のタイプから常に逸脱しています。合成データセットと実際のデータセットの間のこのようなギャップは、実際のシナリオでそれらを適用するときにパフォーマンスの低下につながります。これらの問題に対して、この論文は、動的雨発生器を使用して雨層に適合させ、その洞察に満ちた特性をよりよく描写することを期待する、新しい半教師ありビデオ排水方法を提案します。具体的には、このような動的ジェネレーターは、1つの放出モデルと1つの遷移モデルで構成され、それぞれ空間的に物理的な構造と時間的に連続する雨の筋の変化を同時にエンコードします。これらは両方ともディープニューラルネットワーク(DNN)としてパラメーター化されます。さらに、ラベル付きの合成データとラベルなしの実際のデータ用にさまざまな以前の形式が設計されており、それらの基礎となる一般的な知識を十分に活用できます。最後になりましたが、このモデルを解決するためのモンテカルロEMアルゴリズムも設計します。提案された半教師あり排水モデルの優位性を検証するために、広範な実験が実施されます。
While deep learning (DL)-based video deraining methods have achieved significant success recently, they still exist two major drawbacks. Firstly, most of them do not sufficiently model the characteristics of rain layers of rainy videos. In fact, the rain layers exhibit strong physical properties (e.g., direction, scale and thickness) in spatial dimension and natural continuities in temporal dimension, and thus can be generally modelled by the spatial-temporal process in statistics. Secondly, current DL-based methods seriously depend on the labeled synthetic training data, whose rain types are always deviated from those in unlabeled real data. Such gap between synthetic and real data sets leads to poor performance when applying them in real scenarios. Against these issues, this paper proposes a new semi-supervised video deraining method, in which a dynamic rain generator is employed to fit the rain layer, expecting to better depict its insightful characteristics. Specifically, such dynamic generator consists of one emission model and one transition model to simultaneously encode the spatially physical structure and temporally continuous changes of rain streaks, respectively, which both are parameterized as deep neural networks (DNNs). Further more, different prior formats are designed for the labeled synthetic and unlabeled real data, so as to fully exploit the common knowledge underlying them. Last but not least, we also design a Monte Carlo EM algorithm to solve this model. Extensive experiments are conducted to verify the superiorities of the proposed semi-supervised deraining model.