arXiv reaDer
MVFlow: モーション ベクトル事前による圧縮ビデオのディープ オプティカル フロー推定
MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior
近年、オプティカル フロー推定の問題に取り組むために、多くの深層学習ベースの手法が提案され、有望な結果が得られています。ただし、ほとんどのビデオが圧縮されていることはほとんど考慮されていないため、圧縮ビデオ ストリーム内の事前計算された情報は無視されます。圧縮情報の 1 つである動きベクトルは、ビデオ フレームの動きを記録します。これらは、計算コストをかけずに圧縮コード ストリームから直接抽出でき、オプティカル フロー推定のための確実な事前情報として機能します。そこで、動きベクトルを利用して圧縮ビデオのオプティカルフロー推定の速度と精度を向上させるオプティカルフローモデルMVFlowを提案します。詳細には、MVFlow には主要な動きベクトル変換モジュールが含まれており、動きベクトルをオプティカル フローの同じ領域に変換し、フロー推定モジュールによって完全に利用できるようにします。一方、フレームと動きベクトルをペアで含む圧縮ビデオ用の 4 つのオプティカル フロー データセットを構築します。実験結果は、既存のモデルと比較して AEPE を 1.09 削減するか、既存のモデルと同等の精度を達成するために 52% の時間を節約できる、私たちが提案する MVFlow の優位性を示しています。
In recent years, many deep learning-based methods have been proposed to tackle the problem of optical flow estimation and achieved promising results. However, they hardly consider that most videos are compressed and thus ignore the pre-computed information in compressed video streams. Motion vectors, one of the compression information, record the motion of the video frames. They can be directly extracted from the compression code stream without computational cost and serve as a solid prior for optical flow estimation. Therefore, we propose an optical flow model, MVFlow, which uses motion vectors to improve the speed and accuracy of optical flow estimation for compressed videos. In detail, MVFlow includes a key Motion-Vector Converting Module, which ensures that the motion vectors can be transformed into the same domain of optical flow and then be utilized fully by the flow estimation module. Meanwhile, we construct four optical flow datasets for compressed videos containing frames and motion vectors in pairs. The experimental results demonstrate the superiority of our proposed MVFlow, which can reduce the AEPE by 1.09 compared to existing models or save 52% time to achieve similar accuracy to existing models.
updated: Thu Aug 03 2023 07:16:18 GMT+0000 (UTC)
published: Thu Aug 03 2023 07:16:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト