arXiv reaDer
ビデオ超解像のための事前に構築されたリカレント再構成ネットワーク
Information Prebuilt Recurrent Reconstruction Network for Video Super-Resolution
再帰型畳み込みネットワークに基づくビデオ超解像 (VSR) メソッドには、ビデオ シーケンスの強力な時間モデリング機能があります。ただし、一方向リカレント ネットワーク内の異なるリカレント ユニットの時間的受容野はバランスが取れていません。初期の再構成フレームは時空間情報をあまり受信しないため、あいまいさやアーティファクトが発生します。双方向リカレント ネットワークはこの問題を軽減できますが、より多くのメモリ領域を必要とし、低レイテンシ要件で多くのタスクを実行できません。上記の問題を解決するために、事前構築済み情報ネットワーク (IPNet) と再帰再構築ネットワーク (RRNet) から構成される、エンドツーエンドの情報事前構築済み再帰再構築ネットワーク (IPRRN) を提案します。ビデオの前部からの十分な情報を統合して、初期の再帰ユニットに必要な隠れ状態を構築し、以前のフレームの復元を支援することにより、事前構築された情報ネットワークは、さまざまな時間ステップでの入力情報の差のバランスを取ります。さらに、すべての面で既存の単方向再帰スキームよりも優れた効率的な再帰再構成ネットワークを示します。多くの実験により、私たちが提案するネットワークの有効性が検証されており、既存の最先端の方法と比較して、より優れた定量的および定性的な評価パフォーマンスを効果的に達成できます。
The video super-resolution (VSR) method based on the recurrent convolutional network has strong temporal modeling capability for video sequences. However, the temporal receptive field of different recurrent units in the unidirectional recurrent network is unbalanced. Earlier reconstruction frames receive less spatio-temporal information, resulting in fuzziness or artifacts. Although the bidirectional recurrent network can alleviate this problem, it requires more memory space and fails to perform many tasks with low latency requirements. To solve the above problems, we propose an end-to-end information prebuilt recurrent reconstruction network (IPRRN), consisting of an information prebuilt network (IPNet) and a recurrent reconstruction network (RRNet). By integrating sufficient information from the front of the video to build the hidden state needed for the initially recurrent unit to help restore the earlier frames, the information prebuilt network balances the input information difference at different time steps. In addition, we demonstrate an efficient recurrent reconstruction network, which outperforms the existing unidirectional recurrent schemes in all aspects. Many experiments have verified the effectiveness of the network we propose, which can effectively achieve better quantitative and qualitative evaluation performance compared to the existing state-of-the-art methods.
updated: Thu Feb 02 2023 09:15:48 GMT+0000 (UTC)
published: Fri Dec 10 2021 05:32:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト