NIO - Neural Interpolation Operator を提示します。これは、ビデオ フレーム補間を実行するための軽量で効率的なニューラル オペレーター ベースのアーキテクチャです。現在の深層学習ベースの方法は、特徴学習のためにローカル畳み込みに依存しており、包括的なデータセットで大量のトレーニングを必要とします。さらに、Transformer ベースのアーキテクチャは大規模であり、トレーニング用に専用の GPU が必要です。一方、ニューラル オペレーター ベースのアプローチである NIO は、高速フーリエ変換 (FFT) を使用して画像マトリックスをフーリエ空間に変換することにより、フレーム内の特徴を学習します。モデルはグローバル畳み込みを実行し、離散化不変になります。 NIO が視覚的に滑らかで正確な結果を生成し、最先端のアプローチよりも少ないエポックで収束できることを示します。補間されたフレームの視覚的品質を評価するために、生成されたフレームとグラウンド トゥルース フレームの間の構造類似性指数 (SSIM) とピーク信号対雑音比 (PSNR) を計算します。 Vimeo-90K データセット、DAVIS、UCF101、および DISFA+ データセットでモデルの定量的なパフォーマンスを提供します。
We present, NIO - Neural Interpolation Operator, a lightweight efficient neural operator-based architecture to perform video frame interpolation. Current deep learning based methods rely on local convolutions for feature learning and require a large amount of training on comprehensive datasets. Furthermore, transformer-based architectures are large and need dedicated GPUs for training. On the other hand, NIO, our neural operator-based approach learns the features in the frames by translating the image matrix into the Fourier space by using Fast Fourier Transform (FFT). The model performs global convolution, making it discretization invariant. We show that NIO can produce visually-smooth and accurate results and converges in fewer epochs than state-of-the-art approaches. To evaluate the visual quality of our interpolated frames, we calculate the structural similarity index (SSIM) and Peak Signal to Noise Ratio (PSNR) between the generated frame and the ground truth frame. We provide the quantitative performance of our model on Vimeo-90K dataset, DAVIS, UCF101 and DISFA+ dataset.