arXiv reaDer
A Lightweight Optical Flow CNN -- Revisiting Data Fidelity and Regularization
 40年以上にわたり、大半は変分法を使用したオプティカルフロー推定の問題に取り組んでいます。機械学習の進歩により、最近のいくつかの研究では、畳み込みニューラルネットワーク(CNN)を使用して問題に対処しようとし、有望な結果を示しています。最先端のCNNであるFlowNet2では、正確なフロー推定を実現するために160Mを超えるパラメーターが必要です。 LiteFlowNet2は、SintelおよびKITTIベンチマークでFlowNet2より優れていますが、モデルサイズは25.3倍小さく、実行速度は3.1倍高速です。 LiteFlowNet2は、従来の方法で構築された基盤の上に構築され、データ忠実性および変分法の正則化として対応する役割に似ています。 SPyNetとしての空間ピラミッド形式でオプティカルフローを計算しますが、新しい軽量カスケードフロー推論を使用します。ディスクリプタマッチングをシームレスに組み込むことで、早期修正により高いフロー推定精度を実現します。フローの正則化は、機能駆動型のローカルコンボリューションにより、外れ値とあいまいなフロー境界の問題を改善するために使用されます。また、当社のネットワークは、ピラミッド形の特徴抽出のための効果的な構造を所有しており、FlowNet2およびSPyNetで実践されている画像のゆがみではなく、特徴のゆがみを採用しています。 LiteFlowNetと比較すると、LiteFlowNet2は、Sintel Cleanのオプティカルフローの精度を23.3%、Sintel Finalを12.8%、KITTI 2012を19.6%、KITTI 2015を18.8%向上させ、2.2倍高速です。ネットワークプロトコルとトレーニングモデルは、で公開されています。
Over four decades, the majority addresses the problem of optical flow estimation using variational methods. With the advance of machine learning, some recent works have attempted to address the problem using convolutional neural network (CNN) and have showed promising results. FlowNet2, the state-of-the-art CNN, requires over 160M parameters to achieve accurate flow estimation. Our LiteFlowNet2 outperforms FlowNet2 on Sintel and KITTI benchmarks, while being 25.3 times smaller in the model size and 3.1 times faster in the running speed. LiteFlowNet2 is built on the foundation laid by conventional methods and resembles the corresponding roles as data fidelity and regularization in variational methods. We compute optical flow in a spatial-pyramid formulation as SPyNet but through a novel lightweight cascaded flow inference. It provides high flow estimation accuracy through early correction with seamless incorporation of descriptor matching. Flow regularization is used to ameliorate the issue of outliers and vague flow boundaries through feature-driven local convolutions. Our network also owns an effective structure for pyramidal feature extraction and embraces feature warping rather than image warping as practiced in FlowNet2 and SPyNet. Comparing to LiteFlowNet, LiteFlowNet2 improves the optical flow accuracy on Sintel Clean by 23.3%, Sintel Final by 12.8%, KITTI 2012 by 19.6%, and KITTI 2015 by 18.8%, while being 2.2 times faster. Our network protocol and trained models are made publicly available on
updated: Sun Mar 15 2020 02:32:44 GMT+0000 (UTC)
published: Fri Mar 15 2019 04:20:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト