ブラインド設定で重ね合わせた画像を構成要素の基礎となる画像に分離する必要がある、ブラインド画像分解(BID)という名前の新しいタスクを提示して研究します。つまり、混合に関与するソースコンポーネントと混合メカニズムの両方が不明です。たとえば、雨は、雨の筋、雨滴、雪、もやなどの複数の要素で構成されている場合があります。雨の画像は、これらのコンポーネントの任意の組み合わせ、それらの一部またはすべてとして扱うことができます。雨の画像などの重ね合わせた画像を個別のソースコンポーネントに分解する方法は、実際のビジョンシステムに向けた重要なステップです。この新しいタスクの研究を容易にするために、複数のドメインにわたる混合画像分解、実際のシナリオのドレイン、および共同の影/反射/透かしの除去を含む3つのベンチマークデータセットを構築します。さらに、将来の作業の強力なベースラインとして機能する、シンプルでありながら一般的なブラインド画像分解ネットワーク(BIDeN)を提案します。実験結果は、ベンチマークの持続可能性とBIDeNの有効性を示しています。コードとプロジェクトページが利用可能です。
We present and study a novel task named Blind Image Decomposition (BID), which requires separating a superimposed image into constituent underlying images in a blind setting, that is, both the source components involved in mixing as well as the mixing mechanism are unknown. For example, rain may consist of multiple components, such as rain streaks, raindrops, snow, and haze. Rainy images can be treated as an arbitrary combination of these components, some of them or all of them. How to decompose superimposed images, like rainy images, into distinct source components is a crucial step towards real-world vision systems. To facilitate research on this new task, we construct three benchmark datasets, including mixed image decomposition across multiple domains, real-scenario deraining, and joint shadow/reflection/watermark removal. Moreover, we propose a simple yet general Blind Image Decomposition Network (BIDeN) to serve as a strong baseline for future work. Experimental results demonstrate the tenability of our benchmarks and the effectiveness of BIDeN. Code and project page are available.