arXiv reaDer
Blur からの実世界の動きのための Blur Interpolation Transformer
Blur Interpolation Transformer for Real-World Motion from Blur
この論文では、ジョイントブレ除去および補間またはブレ時間超解像としても知られる、ブレからモーションを回復するという困難な問題について研究しています。残りの課題は 2 つあります。1) 現在の方法では、合成データセットでも視覚的な品質の点で改善の余地がかなり残っていること、および 2) 現実世界のデータへの一般化が不十分であることです。この目的のために、ぼかしでエンコードされた基本的な時間的相関を効果的に解明するために、ぼかし補間変換器 (BiT) を提案します。マルチスケールの残差 Swin Transformer ブロックに基づいて、デュアルエンドの時間監視と時間的に対称なアンサンブル戦略を導入して、時変モーション レンダリングの効果的な機能を生成します。さらに、ハイブリッド カメラ システムを設計して、1 対多のぼやけた鮮明なビデオ ペアの最初の実世界のデータセットを収集します。実験結果は、BiT が公開データセット Adobe240 の最先端の方法よりも大幅に優れていることを示しています。さらに、提案された実世界のデータセットは、モデルが実際のぼやけたシナリオにうまく一般化するのに効果的に役立ちます。
This paper studies the challenging problem of recovering motion from blur, also known as joint deblurring and interpolation or blur temporal super-resolution. The remaining challenges are twofold: 1) the current methods still leave considerable room for improvement in terms of visual quality even on the synthetic dataset, and 2) poor generalization to real-world data. To this end, we propose a blur interpolation transformer (BiT) to effectively unravel the underlying temporal correlation encoded in blur. Based on multi-scale residual Swin transformer blocks, we introduce dual-end temporal supervision and temporally symmetric ensembling strategies to generate effective features for time-varying motion rendering. In addition, we design a hybrid camera system to collect the first real-world dataset of one-to-many blur-sharp video pairs. Experimental results show that BiT has a significant gain over the state-of-the-art methods on the public dataset Adobe240. Besides, the proposed real-world dataset effectively helps the model generalize well to real blurry scenarios.
updated: Mon Nov 21 2022 13:10:10 GMT+0000 (UTC)
published: Mon Nov 21 2022 13:10:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト