このレポートでは、ロバスト ビジョン チャレンジ 2022 で優勝した当社のオプティカル フロー アプローチ、MS-RAFT+ を紹介します。これは、複数のマルチスケール コンセプトをシングルスケール RAFT にうまく統合する MS-RAFT メソッドに基づいています。私たちのアプローチは、フローを推定するために追加のより細かいスケールを利用することにより、この方法を拡張します。これは、オンデマンドのコスト計算によって実現可能になります。このようにして、元の解像度の半分で動作するだけでなく、MS-RAFT の共有コンベックス アップサンプラーを使用して最大解像度のフローを取得することもできます。さらに、私たちのアプローチは、トレーニング中に調整された微調整スキームに依存しています。これは、ベンチマーク全体で一般化を改善することを目的としています。ロバスト ビジョン チャレンジに参加しているすべてのメソッドの中で、VIPER で 1 位、KITTI、Sintel、Middlebury で 2 位にランクされ、総合ランキングで 1 位になりました。
In this report, we present our optical flow approach, MS-RAFT+, that won the Robust Vision Challenge 2022. It is based on the MS-RAFT method, which successfully integrates several multi-scale concepts into single-scale RAFT. Our approach extends this method by exploiting an additional finer scale for estimating the flow, which is made feasible by on-demand cost computation. This way, it can not only operate at half the original resolution, but also use MS-RAFT's shared convex upsampler to obtain full resolution flow. Moreover, our approach relies on an adjusted fine-tuning scheme during training. This in turn aims at improving the generalization across benchmarks. Among all participating methods in the Robust Vision Challenge, our approach ranks first on VIPER and second on KITTI, Sintel, and Middlebury, resulting in the first place of the overall ranking.