arXiv reaDer
ビデオスナップショット圧縮イメージングのディープ平衡モデル
Deep Equilibrium Models for Video Snapshot Compressive Imaging
高次元(HD)データを効率的にキャプチャするスナップショット圧縮イメージング(SCI)システムの機能は、圧縮されたノイズの多い測定からHD信号を復元するという逆問題を引き起こしました。ディープラーニングの最近の進歩により、再構築アルゴリズムは急速に成長してそれを解決しますが、正確で安定した回復の根本的な問題は残っています。この目的のために、ビデオSCIの深平衡モデル(DEQ)を提案し、データ駆動型の正則化と安定した収束を理論的に適切な方法で融合します。各平衡モデルは、非拡張演算子を暗黙的に学習し、固定小数点を分析的に計算します。これにより、トレーニングとテストで一定のメモリ要件のみで、無制限の反復ステップと無限のネットワーク深度が可能になります。具体的には、DEQをビデオSCI再構築の2つの既存のモデル(リカレントニューラルネットワーク(RNN)とプラグアンドプレイ(PnP)アルゴリズム)に適用する方法を示します。さまざまなデータセットと実際のデータで、結果の定量的評価と定性的評価の両方が、提案された方法の有効性と安定性を示しています。コードとモデルは一般に公開されます。
The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models will be released to the public.
updated: Tue Jan 18 2022 12:49:59 GMT+0000 (UTC)
published: Tue Jan 18 2022 12:49:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト