arXiv reaDer
細部に潜む悪魔: シンプルかつ効果的なオプティカル フロー合成データの生成
The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation
高密度オプティカル フローに関する最近の研究は、主に大量のラベル付きデータを必要とする教師あり学習方式で大幅な進歩を示しています。大規模な現実世界のデータを取得するにはコストがかかるため、通常はデータセットの構築にコンピュータ グラフィックスが利用されます。ただし、合成ドメインと実際のドメインのギャップにより、実際のシーンへの一般化が制限されるという一般的な考えがあります。この論文では、オプティカル フロー データセットに必要な特性がかなり単純であることを示し、基本的な演算の構成で一定レベルの現実性を達成する、より単純な合成データ生成方法を示します。 2D モーションベースのデータセットを使用して、合成データセットを生成するための最も単純だが重要な要素を系統的に分析します。さらに、教師あり法でオクルージョンマスクを利用する新しい方法を提案し、オクルージョンされた領域の勾配の抑制がカリキュラム学習の意味で強力な初期状態として機能することを観察しました。最初にデータセットでトレーニングされた RAFT ネットワークは、MPI Sintel と KITTI 2015 という 2 つの最も困難なオンライン ベンチマークで元の RAFT を上回りました。
Recent work on dense optical flow has shown significant progress, primarily in a supervised learning manner requiring a large amount of labeled data. Due to the expensiveness of obtaining large scale real-world data, computer graphics are typically leveraged for constructing datasets. However, there is a common belief that synthetic-to-real domain gaps limit generalization to real scenes. In this paper, we show that the required characteristics in an optical flow dataset are rather simple and present a simpler synthetic data generation method that achieves a certain level of realism with compositions of elementary operations. With 2D motion-based datasets, we systematically analyze the simplest yet critical factors for generating synthetic datasets. Furthermore, we propose a novel method of utilizing occlusion masks in a supervised method and observe that suppressing gradients on occluded regions serves as a powerful initial state in the curriculum learning sense. The RAFT network initially trained on our dataset outperforms the original RAFT on the two most challenging online benchmarks, MPI Sintel and KITTI 2015.
updated: Mon Aug 14 2023 18:01:45 GMT+0000 (UTC)
published: Mon Aug 14 2023 18:01:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト