arXiv reaDer
デュアル ステージ空間チャネル トランスフォーマーを使用した粗微動ビデオのノイズ除去
Coarse-to-Fine Video Denoising with Dual-Stage Spatial-Channel Transformer
ビデオのノイズ除去は、ノイズの多いビデオから高品質のフレームを復元することを目的としています。ほとんどの既存のアプローチは畳み込みニューラル ネットワーク ~(CNN) を採用して元のビジュアル コンテンツからノイズを分離しますが、CNN はローカル情報に焦点を当て、フレーム内の長距離領域間の相互作用を無視します。さらに、ほとんどの関連する作業は、基本的な時空間ノイズ除去の後の出力を最終結果として直接取得するため、細粒度のノイズ除去プロセスが無視されます。この論文では、トランスフォーマーとCNNの両方の利点を継承する、粗いビデオから細かいビデオのノイズ除去用のデュアルステージ空間チャネルトランスフォーマーを提案します。具体的には、DSCT はプログレッシブ デュアル ステージ アーキテクチャ、つまり、動的特徴と静的特徴をそれぞれ抽出するための粗いレベルと細かいレベルのステージに基づいて提案されています。どちらの段階でも、空間チャネル エンコーディング モジュールは、空間レベルとチャネル レベルの両方で長距離のコンテキスト依存関係をモデル化するように設計されています。一方、動的表現を要約するための時間的特徴集約モジュールを含む、さまざまな段階で情報の複数の側面を保持するマルチスケール残差構造を設計します。公開されている 4 つのデータセットでの広範な実験により、提案された方法が最先端の方法と比較して大幅な改善を達成することが実証されています。
Video denoising aims to recover high-quality frames from the noisy video. While most existing approaches adopt convolutional neural networks~(CNNs) to separate the noise from the original visual content, however, CNNs focus on local information and ignore the interactions between long-range regions in the frame. Furthermore, most related works directly take the output after basic spatio-temporal denoising as the final result, leading to neglect the fine-grained denoising process. In this paper, we propose a Dual-stage Spatial-Channel Transformer for coarse-to-fine video denoising, which inherits the advantages of both Transformer and CNNs. Specifically, DSCT is proposed based on a progressive dual-stage architecture, namely a coarse-level and a fine-level stage to extract dynamic features and static features, respectively. At both stages, a Spatial-Channel Encoding Module is designed to model the long-range contextual dependencies at both spatial and channel levels. Meanwhile, we design a Multi-Scale Residual Structure to preserve multiple aspects of information at different stages, which contains a Temporal Features Aggregation Module to summarize the dynamic representation. Extensive experiments on four publicly available datasets demonstrate our proposed method achieves significant improvements compared to the state-of-the-art methods.
updated: Tue Jan 17 2023 03:35:30 GMT+0000 (UTC)
published: Sat Apr 30 2022 09:01:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト