最近の多くの最先端(SOTA)オプティカルフローモデルは、有限ステップの反復更新操作を使用して、安定したフロー推定に向けた反復的な改良を奨励することにより、従来のアルゴリズムをエミュレートします。ただし、これらのRNNは、大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するように直接トレーニングされていません。それらは収束が不十分であるため、パフォーマンスが低下する可能性があります。これらの欠点に対処するために、深平衡(DEQ)フロー推定器を提案します。これは、暗黙のレイヤーの無限レベルの固定点としてフローを直接解決し(ブラックボックスソルバーを使用)、この固定点を分析的に区別するアプローチです。 (したがって、O(1)トレーニングメモリが必要です)。この暗黙の深さのアプローチは、特定のモデルを前提としていないため、幅広いSOTAフロー推定モデルの設計に適用できます。これらのDEQフロー推定器を使用すると、たとえば、固定小数点の再利用や不正確な勾配を使用してフローをより高速に計算でき、繰り返し使用するトレーニングメモリの4〜6倍のトレーニングメモリを消費し、同じ計算バジェットでより良い結果を得ることができます。さらに、DEQフロー推定器を安定させるために、新しい、まばらな固定小数点補正スキームを提案します。これは、一般的なDEQモデルの長年の課題に対処します。さまざまな現実的な設定でアプローチをテストし、SintelおよびKITTIデータセットのSOTAメソッドが大幅に向上し、計算効率とメモリ効率が大幅に向上することを示しています。
Many recent state-of-the-art (SOTA) optical flow models use finite-step recurrent update operations to emulate traditional algorithms by encouraging iterative refinements toward a stable flow estimation. However, these RNNs impose large computation and memory overheads, and are not directly trained to model such stable estimation. They can converge poorly and thereby suffer from performance degradation. To combat these drawbacks, we propose deep equilibrium (DEQ) flow estimators, an approach that directly solves for the flow as the infinite-level fixed point of an implicit layer (using any black-box solver), and differentiates through this fixed point analytically (thus requiring O(1) training memory). This implicit-depth approach is not predicated on any specific model, and thus can be applied to a wide range of SOTA flow estimation model designs. The use of these DEQ flow estimators allows us to compute the flow faster using, e.g., fixed-point reuse and inexact gradients, consumes 4∼6× times less training memory than the recurrent counterpart, and achieves better results with the same computation budget. In addition, we propose a novel, sparse fixed-point correction scheme to stabilize our DEQ flow estimators, which addresses a longstanding challenge for DEQ models in general. We test our approach in various realistic settings and show that it improves SOTA methods on Sintel and KITTI datasets with substantially better computational and memory efficiency.