arXiv reaDer
2段階で十分:柔軟なビデオ圧縮センシングのための簡潔で深く展開する再構成ネットワーク
Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing
深い展開/ローリング構造の下でのビデオ圧縮センシング(VCS)の再構成問題を検討します。それでも、最小限のステージを使用して、柔軟で簡潔なモデルを構築することを目指しています。逆問題に使用される既存のディープアンフォールディングネットワークとは異なり、より多くのステージを使用してパフォーマンスを向上させますが、さまざまなマスクやスケールに柔軟性を持たせないため、2ステージのディープアンフォールディングネットワークが最先端のネットワークにつながる可能性があることを示します。 (SOTA)結果(シングルステージモデル、RevSCIよりもPSNRが1.7dBゲイン)がVCSで得られます。提案された方法は、新しいマスクへの適応の特性を備えており、深い展開の利点のおかげで、追加のトレーニングなしで大規模なデータにスケーリングする準備ができています。さらに、カラーVCSの提案されたモデルを拡張して、ジョイントの再構築とデモザイキングを実行します。実験結果は、2ステージモデルがカラーVCS再構成でもSOTAを達成し、プラグアンドプレイフレームワークに基づく以前のSOTAアルゴリズムよりもPSNRが2.3dB以上向上し、その一方で再構成が17倍以上高速化することを示しています。 。さらに、当社のネットワークは、カラーVCS再構成のマスク変調とスケールサイズにも柔軟に対応できるため、単一のトレーニング済みネットワークをさまざまなハードウェアシステムに適用できることがわかりました。コードとモデルは一般に公開されます。
We consider the reconstruction problem of video compressive sensing (VCS) under the deep unfolding/rolling structure. Yet, we aim to build a flexible and concise model using minimum stages. Different from existing deep unfolding networks used for inverse problems, where more stages are used for higher performance but without flexibility to different masks and scales, hereby we show that a 2-stage deep unfolding network can lead to the state-of-the-art (SOTA) results (with a 1.7dB gain in PSNR over the single stage model, RevSCI) in VCS. The proposed method possesses the properties of adaptation to new masks and ready to scale to large data without any additional training thanks to the advantages of deep unfolding. Furthermore, we extend the proposed model for color VCS to perform joint reconstruction and demosaicing. Experimental results demonstrate that our 2-stage model has also achieved SOTA on color VCS reconstruction, leading to a >2.3dB gain in PSNR over the previous SOTA algorithm based on plug-and-play framework, meanwhile speeds up the reconstruction by >17 times. In addition, we have found that our network is also flexible to the mask modulation and scale size for color VCS reconstruction so that a single trained network can be applied to different hardware systems. The code and models will be released to the public.
updated: Sat Jan 15 2022 09:40:22 GMT+0000 (UTC)
published: Sat Jan 15 2022 09:40:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト