arXiv reaDer
変形可能なカーネル領域に基づくビデオフレーム補間
Video Frame Interpolation Based on Deformable Kernel Region
ビデオフレーム補間タスクは、最近、コンピュータビジョンの分野でますます普及しています。現在、ディープラーニングに基づく多くの研究が大きな成功を収めています。それらのほとんどは、オプティカルフロー情報、補間カーネル、またはこれら2つの方法の組み合わせに基づいています。ただし、これらの方法では、各ターゲットピクセルの合成中にカーネル領域の位置にグリッド制限があることを無視しています。これらの制限により、オブジェクトの形状の不規則性や動きの不確実性にうまく適応できず、補間に使用される無関係な参照ピクセルにつながる可能性があります。この問題を解決するために、ビデオ補間の変形可能な畳み込みを再検討します。これにより、カーネル領域の固定グリッド制限が破られ、参照点の分布がオブジェクトの形状により適したものになり、より正確な補間がワープされます。フレーム。実験は、最新の代替案と比較して提案されたモデルの優れたパフォーマンスを実証するために、4つのデータセットで実施されます。
Video frame interpolation task has recently become more and more prevalent in the computer vision field. At present, a number of researches based on deep learning have achieved great success. Most of them are either based on optical flow information, or interpolation kernel, or a combination of these two methods. However, these methods have ignored that there are grid restrictions on the position of kernel region during synthesizing each target pixel. These limitations result in that they cannot well adapt to the irregularity of object shape and uncertainty of motion, which may lead to irrelevant reference pixels used for interpolation. In order to solve this problem, we revisit the deformable convolution for video interpolation, which can break the fixed grid restrictions on the kernel region, making the distribution of reference points more suitable for the shape of the object, and thus warp a more accurate interpolation frame. Experiments are conducted on four datasets to demonstrate the superior performance of the proposed model in comparison to the state-of-the-art alternatives.
updated: Mon Apr 25 2022 02:03:04 GMT+0000 (UTC)
published: Mon Apr 25 2022 02:03:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト