このホワイトペーパーでは、スーパーサンプリング、ブレ除去、ノイズ除去など、さまざまなビデオエンハンスメントタスクの品質と実行速度を同時に向上させる一般的なフレームワークについて説明します。私たちのフレームワークの鍵は、計算が非常に軽量でありながら、低品質のビデオから正確なモーションを生成するピクセルモーション推定アルゴリズムです。私たちの動き推定アルゴリズムは、点群情報を活用します。これは、今日の自律型デバイスですぐに利用でき、将来的にはより一般的になるでしょう。モーション情報を活用して高品質の画像再構成をガイドする一般的なフレームワークを示します。実験によると、私たちのフレームワークは、実行速度を桁違いに向上させながら、常に最先端のビデオエンハンスメントアルゴリズムを上回っています。
This paper presents a general framework that simultaneously improves the quality and the execution speed of a range of video enhancement tasks, such as super-sampling, deblurring, and denoising. The key to our framework is a pixel motion estimation algorithm that generates accurate motion from low-quality videos while being computationally very lightweight. Our motion estimation algorithm leverages point cloud information, which is readily available in today's autonomous devices and will only become more common in the future. We demonstrate a generic framework that leverages the motion information to guide high-quality image reconstruction. Experiments show that our framework consistently outperforms the state-of-the-art video enhancement algorithms while improving the execution speed by an order of magnitude.