arXiv reaDer
ビデオスナップショット圧縮イメージングのための時空間変換器
Spatial-Temporal Transformer for Video Snapshot Compressive Imaging
ビデオ スナップショット圧縮イメージング (SCI) は、計算イメージングのアイデアを使用して、1 回の測定で複数の連続したビデオ フレームをキャプチャします。基本的な原理は、異なるマスクを介して高速フレームを変調することです。これらの変調されたフレームは、低速 2D センサー (光学エンコーダーと呼ばれる) によってキャプチャされた単一の測定値に加算されます。これに続いて、必要に応じてアルゴリズムを使用して、目的の高速フレーム (ソフトウェア デコーダーと呼ばれる) を再構築します。この論文では、ビデオ SCI における再構成アルゴリズム、つまり、圧縮された測定値から一連のビデオ フレームを復元するアルゴリズムについて考察します。具体的には、空間ドメインと時間ドメインの両方で相関関係を利用するために、空間-時間変換器 (STFormer) を提案します。 STFormer ネットワークは、トークン生成ブロックとビデオ再構築ブロックで構成され、これら 2 つのブロックは一連の STFormer ブロックによって接続されます。各 STFormer ブロックは、空間的自己注意ブランチと時間的自己注意ブランチで構成され、これら 2 つのブランチの出力は融合ネットワークによって統合されます。シミュレートされたデータと実際のデータの両方に関する広範な結果は、STFormer の最先端のパフォーマンスを示しています。コードとモデルは、https://github.com/ucaswangls/STFormer.git で公開されています。
Video snapshot compressive imaging (SCI) captures multiple sequential video frames by a single measurement using the idea of computational imaging. The underlying principle is to modulate high-speed frames through different masks and these modulated frames are summed to a single measurement captured by a low-speed 2D sensor (dubbed optical encoder); following this, algorithms are employed to reconstruct the desired high-speed frames (dubbed software decoder) if needed. In this paper, we consider the reconstruction algorithm in video SCI, i.e., recovering a series of video frames from a compressed measurement. Specifically, we propose a Spatial-Temporal transFormer (STFormer) to exploit the correlation in both spatial and temporal domains. STFormer network is composed of a token generation block, a video reconstruction block, and these two blocks are connected by a series of STFormer blocks. Each STFormer block consists of a spatial self-attention branch, a temporal self-attention branch and the outputs of these two branches are integrated by a fusion network. Extensive results on both simulated and real data demonstrate the state-of-the-art performance of STFormer. The code and models are publicly available at https://github.com/ucaswangls/STFormer.git
updated: Thu Sep 08 2022 04:56:25 GMT+0000 (UTC)
published: Sun Sep 04 2022 09:24:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト