arXiv reaDer
SplatFlow: スプラッティングによるマルチフレーム オプティカル フローの学習
SplatFlow: Learning Multi-frame Optical Flow via Splatting
最近のディープラーニングの分野での大幅な進歩にも関わらず、オクルージョン問題はオプティカル フロー推定 (OFE) における重要な課題のままです。ほとんどの既存の深層学習 OFE 手法、特に 2 つのフレームに基づく手法では、オクルージョンを適切に処理できません。その理由の 1 つは、オクルージョンされた領域に顕著な特徴の類似性がないことが挙げられます。マルチフレーム設定には、OFE のオクルージョンの問題が軽減される可能性があります。しかし、マルチフレーム OFE (MOFE) の問題はまだ解明されておらず、限られた作業はピラミッド バックボーン用に特別に設計されており、時間のかかる逆方向フロー計算または非微分前方ワーピング変換によって位置合わせされた時間情報を取得します。これらの欠点に対処するために、我々は SplatFlow という名前の効率的な MOFE フレームワークを提案します。これは、時間情報を揃えるために微分可能なスプラッティング変換を導入し、現在のフレームの推定を密にガイドするための 1 対多の埋め込み方法を設計し、さらに既存の 2 フレーム バックボーン。提案された SplatFlow は、オクルージョンを適切に処理できるため、非常に効率的でありながら、より正確です。広範な実験評価により、当社の SplatFlow は、KITTI2015 および Sintel ベンチマークで公開されているすべてのメソッドよりも大幅に優れていることが示されています。特に Sintel ベンチマークでは、SplatFlow は 1.12 (クリーン パス) と 2.07 (最終パス) のエラーを達成し、以前に提出された最高の結果からそれぞれ 19.4% と 16.2% という驚くべき大幅なエラー削減を実現しました。コードは https://github.com/wwsource/SplatFlow で入手できます。
Occlusion problem remains a key challenge in Optical Flow Estimation (OFE) despite the recent significant progress brought by deep learning in the field. Most existing deep learning OFE methods, especially those based on two frames, cannot properly handle occlusions, in part because there is no significant feature similarity in occluded regions. The multi-frame settings have the potential to mitigate the occlusion issue in OFE. However, the problem of Multi-frame OFE (MOFE) remains underexplored, and the limited works are specially designed for pyramid backbones and obtain the aligned temporal information by time-consuming backward flow calculation or non-differentiable forward warping transformation. To address these shortcomings, we propose an efficient MOFE framework named SplatFlow, which is realized by introducing the differentiable splatting transformation to align the temporal information, designing a One-to-Many embedding method to densely guide the current frame's estimation, and further remodelling the existing two-frame backbones. The proposed SplatFlow is very efficient yet more accurate as it is able to handle occlusions properly. Extensive experimental evaluations show that our SplatFlow substantially outperforms all published methods on KITTI2015 and Sintel benchmarks. Especially on Sintel benchmark, SplatFlow achieves errors of 1.12 (clean pass) and 2.07 (final pass), with surprisingly significant 19.4% and 16.2% error reductions from the previous best results submitted, respectively. Code is available at https://github.com/wwsource/SplatFlow.
updated: Thu Jun 15 2023 06:41:21 GMT+0000 (UTC)
published: Thu Jun 15 2023 06:41:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト