arXiv reaDer
ゴミ箱または宝物?単一画像反射分離のためのインタラクティブなデュアルストリーム戦略
Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation
単一画像反射分離(SIRS)は、代表的なブラインドソース分離タスクとして、1つの混合観測から、透過と反射の2つの層を復元することを目的としています。これは、非常に不適切な性質のために困難です。既存のディープラーニングベースのソリューションは、通常、ターゲットレイヤーを個別に復元するか、出力の最後にいくつかの懸念を持って、2つのストリーム/ブランチ間の相互作用をほとんど考慮しません。情報をより効率的に利用するために、この作品は、デュアルストリーム分解ネットワークを構築するための、一般的でありながらシンプルなインタラクティブ戦略、つまりあなたのゴミは私の宝物(YTMT)です。具体的には、2つのストリームを明示的に強制して、ブロック単位で相互に通信します。 2つのコンポーネント間の付加的なプロパティに触発されて、インタラクティブパスは、ReLU整流器によって非アクティブ化された情報を破棄する代わりに、一方のストリームからもう一方のストリームに転送することで簡単に構築できます。広く使用されているSIRSデータセットのアブレーション研究と実験結果の両方が、YTMTの有効性を実証し、他の最先端の代替品に対するその優位性を明らかにするために実施されています。実装は非常にシンプルで、コードはhttps://github.com/mingcv/YTMT-Strategyhttps://github.com/mingcv/YTMT-Strategyで公開されています。
Single image reflection separation (SIRS), as a representative blind source separation task, aims to recover two layers, i.e., transmission and reflection, from one mixed observation, which is challenging due to the highly ill-posed nature. Existing deep learning based solutions typically restore the target layers individually, or with some concerns at the end of the output, barely taking into account the interaction across the two streams/branches. In order to utilize information more efficiently, this work presents a general yet simple interactive strategy, namely your trash is my treasure (YTMT), for constructing dual-stream decomposition networks. To be specific, we explicitly enforce the two streams to communicate with each other block-wisely. Inspired by the additive property between the two components, the interactive path can be easily built via transferring, instead of discarding, deactivated information by the ReLU rectifier from one stream to the other. Both ablation studies and experimental results on widely-used SIRS datasets are conducted to demonstrate the efficacy of YTMT, and reveal its superiority over other state-of-the-art alternatives. The implementation is quite simple and our code is publicly available at https://github.com/mingcv/YTMT-Strategyhttps://github.com/mingcv/YTMT-Strategy.
updated: Wed Oct 20 2021 13:05:16 GMT+0000 (UTC)
published: Wed Oct 20 2021 13:05:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト