arXiv reaDer
立体視ビデオ超解像のための新しいデータセットとトランスフォーマー
A New Dataset and Transformer for Stereoscopic Video Super-Resolution
ステレオビデオ超解像(SVSR)は、高解像度ビデオを再構築することにより、低解像度ビデオの空間解像度を向上させることを目的としています。 SVSRの主な課題は、ステレオの一貫性と時間の一貫性を維持することです。これがないと、視聴者は3Dの疲労を感じる可能性があります。立体画像の超解像に関するいくつかの注目すべき研究がありますが、ステレオビデオの超解像に関する研究はほとんどありません。この論文では、SVSRの新しいTransformerベースのモデル、つまりTrans-SVSRを提案します。 Trans-SVSRは、2つの重要な新しいコンポーネントで構成されています。時空間畳み込み自己注意層とオプティカルフローベースのフィードフォワード層で、さまざまなビデオフレーム間の相関関係を検出し、機能を調整します。クロスビュー情報を使用して大きな視差を考慮する視差注意メカニズム(PAM)は、ステレオビューを融合するために使用されます。 SVSRタスクに適したベンチマークデータセットがないため、プロのステレオカメラを使用してキャプチャされた71のフルハイビジョン(HD)ステレオビデオを含む新しいステレオスコピックビデオデータセットSVSR-Setを収集しました。収集されたデータセットと他の2つのデータセットに関する広範な実験により、Trans-SVSRは最先端の方法と比較して競争力のあるパフォーマンスを達成できることが実証されています。プロジェクトコードと追加の結果は、https://github.com/H-deep/Trans-SVSR/で入手できます。
Stereo video super-resolution (SVSR) aims to enhance the spatial resolution of the low-resolution video by reconstructing the high-resolution video. The key challenges in SVSR are preserving the stereo-consistency and temporal-consistency, without which viewers may experience 3D fatigue. There are several notable works on stereoscopic image super-resolution, but there is little research on stereo video super-resolution. In this paper, we propose a novel Transformer-based model for SVSR, namely Trans-SVSR. Trans-SVSR comprises two key novel components: a spatio-temporal convolutional self-attention layer and an optical flow-based feed-forward layer that discovers the correlation across different video frames and aligns the features. The parallax attention mechanism (PAM) that uses the cross-view information to consider the significant disparities is used to fuse the stereo views. Due to the lack of a benchmark dataset suitable for the SVSR task, we collected a new stereoscopic video dataset, SVSR-Set, containing 71 full high-definition (HD) stereo videos captured using a professional stereo camera. Extensive experiments on the collected dataset, along with two other datasets, demonstrate that the Trans-SVSR can achieve competitive performance compared to the state-of-the-art methods. Project code and additional results are available at https://github.com/H-deep/Trans-SVSR/
updated: Thu Apr 21 2022 11:49:29 GMT+0000 (UTC)
published: Thu Apr 21 2022 11:49:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト