arXiv reaDer
オプティカルフロー推定に一貫性を課す
Imposing Consistency for Optical Flow Estimation
プロキシタスクを通じて一貫性を課すことは、データ駆動型学習を強化し、さまざまなタスクでの自己監視を可能にすることが示されています。このホワイトペーパーでは、オプティカルフロー推定のための斬新で効果的な整合性戦略を紹介します。これは、実世界のデータからラベルを導出するのが非常に難しい問題です。より具体的には、自己監視学習の形でのオクルージョンの一貫性とゼロフォーシング、および半教師あり学習の形での変換の一貫性を提案します。ネットワークモデルが追加の注釈を必要とせずにピクセルレベルの動きをより適切に記述することを学習する方法で、これらの一貫性手法を適用します。元のデータセットとラベルを使用して強力なベースラインネットワークモデルに適用された一貫性戦略がさらなる改善を提供し、非ステレオカテゴリのKITTI-2015シーンフローベンチマークで最先端の結果を達成することを示します。私たちの方法は、単眼画像入力のみを使用している場合でも、ステレオと非ステレオの両方のカテゴリで最高の前景精度(Fl-allで4.33%)を達成します。
Imposing consistency through proxy tasks has been shown to enhance data-driven learning and enable self-supervision in various tasks. This paper introduces novel and effective consistency strategies for optical flow estimation, a problem where labels from real-world data are very challenging to derive. More specifically, we propose occlusion consistency and zero forcing in the forms of self-supervised learning and transformation consistency in the form of semi-supervised learning. We apply these consistency techniques in a way that the network model learns to describe pixel-level motions better while requiring no additional annotations. We demonstrate that our consistency strategies applied to a strong baseline network model using the original datasets and labels provide further improvements, attaining the state-of-the-art results on the KITTI-2015 scene flow benchmark in the non-stereo category. Our method achieves the best foreground accuracy (4.33% in Fl-all) over both the stereo and non-stereo categories, even though using only monocular image inputs.
updated: Tue May 24 2022 17:59:01 GMT+0000 (UTC)
published: Thu Apr 14 2022 22:58:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト