arXiv reaDer
大規模ビデオ圧縮センシングのためのメモリ効率の高いネットワーク
Memory-Efficient Network for Large-scale Video Compressive Sensing
ビデオスナップショット圧縮イメージング(SCI)は、2D検出器を使用して、一連のビデオフレームを1回のショットでキャプチャします。基本的な原理は、1回の露光時間中に、異なるマスクが高速シーンに適用されて、圧縮された測定値を形成することです。マスクの知識により、最適化アルゴリズムまたは深層学習法を使用して、このスナップショット測定から目的の高速ビデオフレームを再構築します。残念ながら、これらの方法はまともな結果を達成できますが、最適化アルゴリズムの実行時間が長いか、深いネットワークのトレーニングメモリを大量に占有しているため、実際のアプリケーションではまだ不可能です。本論文では、マルチグループ可逆3D畳み込みニューラルネットワークに基づく大規模ビデオSCIのためのメモリ効率の高いネットワークを開発します。グレースケールSCIシステムの基本モデルに加えて、さらに一歩進んで、デモザイキングとSCI再構成を組み合わせて、バイエル測定からカラービデオを直接復元します。 SCIカメラによってキャプチャされたシミュレーションと実際のデータの両方に関する広範な結果は、提案されたモデルが以前の最先端技術よりも少ないメモリで優れているため、大規模な問題で使用できることを示しています。コードはhttps://github.com/BoChenGroup/RevSCI-netにあります。
Video snapshot compressive imaging (SCI) captures a sequence of video frames in a single shot using a 2D detector. The underlying principle is that during one exposure time, different masks are imposed on the high-speed scene to form a compressed measurement. With the knowledge of masks, optimization algorithms or deep learning methods are employed to reconstruct the desired high-speed video frames from this snapshot measurement. Unfortunately, though these methods can achieve decent results, the long running time of optimization algorithms or huge training memory occupation of deep networks still preclude them in practical applications. In this paper, we develop a memory-efficient network for large-scale video SCI based on multi-group reversible 3D convolutional neural networks. In addition to the basic model for the grayscale SCI system, we take one step further to combine demosaicing and SCI reconstruction to directly recover color video from Bayer measurements. Extensive results on both simulation and real data captured by SCI cameras demonstrate that our proposed model outperforms previous state-of-the-art with less memory and thus can be used in large-scale problems. The code is at https://github.com/BoChenGroup/RevSCI-net.
updated: Thu Mar 04 2021 15:14:58 GMT+0000 (UTC)
published: Thu Mar 04 2021 15:14:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト