多くのビデオエンハンスメントアルゴリズムは、ビデオシーケンスのフレームを登録するためにオプティカルフローに依存しています。ただし、正確なフロー推定は困難です。オプティカルフロー自体は、多くの場合、特定のビデオ処理タスクにとって最適ではない表現です。本論文では、タスク指向フロー(TOFlow)を提案します。これは、自己監視型のタスク固有の方法で学習されるモーション表現です。トレーニング可能なモーション推定コンポーネントとビデオ処理コンポーネントを使用してニューラルネットワークを設計し、それらを共同でトレーニングしてタスク指向のフローを学習します。評価のために、低レベルのビデオ処理用の大規模で高品質のビデオデータセットであるVimeo-90Kを構築します。 TOFlowは、標準のベンチマークおよびVimeo-90Kデータセットで、フレーム補間、ビデオノイズ除去/ブロック解除、ビデオ超解像度の3つのビデオ処理タスクで従来のオプティカルフローよりも優れています。
Many video enhancement algorithms rely on optical flow to register frames in a video sequence. Precise flow estimation is however intractable; and optical flow itself is often a sub-optimal representation for particular video processing tasks. In this paper, we propose task-oriented flow (TOFlow), a motion representation learned in a self-supervised, task-specific manner. We design a neural network with a trainable motion estimation component and a video processing component, and train them jointly to learn the task-oriented flow. For evaluation, we build Vimeo-90K, a large-scale, high-quality video dataset for low-level video processing. TOFlow outperforms traditional optical flow on standard benchmarks as well as our Vimeo-90K dataset in three video processing tasks: frame interpolation, video denoising/deblocking, and video super-resolution.