arXiv reaDer
EA-Net:フローベースのビデオフレーム補間のためのエッジアウェアネットワーク
EA-Net: Edge-Aware Network for Flow-based Video Frame Interpolation
ビデオフレーム補間は、フレームレートをアップコンバートし、ビデオ品質を向上させることができます。近年、補間性能は大成功を収めていますが、動きが大きいため、通常、物体の境界で画像のぼけが発生します。これは長年の問題であり、まだ対処されていません。この論文では、補間されたフレームのエッジを保持することにより、画像のぼけを減らし、オブジェクトの明確な形状を取得することを提案します。この目的のために、提案されたエッジ認識ネットワーク(EA-Net)は、エッジ情報をフレーム補間タスクに統合します。これはエンドツーエンドのアーキテクチャに従い、エッジガイドフロー推定とエッジ保護フレーム合成の2つの段階に分けることができます。具体的には、フロー推定段階では、フローマップを推定する際にフレームエッジを強調するために3つのエッジ認識メカニズムが開発され、エッジマップが補助情報として使用され、フロー精度を高めるためのガイダンスが提供されます。フレーム合成段階では、フローリファインメントモジュールがフローマップをリファインするように設計され、アテンションモジュールが実行されて、中間フレームを合成するときに双方向フローマップに適応的に焦点を合わせます。さらに、フレームとエッジの弁別器を採用して、敵対的な訓練戦略を実施し、合成されたフレームの現実性と明瞭さを向上させます。 Vimeo90k、シングルフレーム補間用のUCF101、マルチフレーム補間用のAdobe240-fpsを含む3つのベンチマークでの実験により、ビデオフレーム補間タスクに対して提案されたEA-Netの優位性が実証されました。
Video frame interpolation can up-convert the frame rate and enhance the video quality. In recent years, although the interpolation performance has achieved great success, image blur usually occurs at the object boundaries owing to the large motion. It has been a long-standing problem, and has not been addressed yet. In this paper, we propose to reduce the image blur and get the clear shape of objects by preserving the edges in the interpolated frames. To this end, the proposed Edge-Aware Network (EA-Net) integrates the edge information into the frame interpolation task. It follows an end-to-end architecture and can be separated into two stages, i.e., edge-guided flow estimation and edge-protected frame synthesis. Specifically, in the flow estimation stage, three edge-aware mechanisms are developed to emphasize the frame edges in estimating flow maps, so that the edge-maps are taken as the auxiliary information to provide more guidance to boost the flow accuracy. In the frame synthesis stage, the flow refinement module is designed to refine the flow map, and the attention module is carried out to adaptively focus on the bidirectional flow maps when synthesizing the intermediate frames. Furthermore, the frame and edge discriminators are adopted to conduct the adversarial training strategy, so as to enhance the reality and clarity of synthesized frames. Experiments on three benchmarks, including Vimeo90k, UCF101 for single-frame interpolation and Adobe240-fps for multi-frame interpolation, have demonstrated the superiority of the proposed EA-Net for the video frame interpolation task.
updated: Mon May 17 2021 08:44:34 GMT+0000 (UTC)
published: Mon May 17 2021 08:44:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト