arXiv reaDer
GlobalFlowNet: 深く抽出されたグローバル モーション推定を使用したビデオ安定化
GlobalFlowNet: Video Stabilization using Deep Distilled Global Motion Estimates
素人が手持ちカメラで撮影した動画には、望ましくない手ぶれが含まれています。移動するオブジェクトの影響を受けない方法で、連続するフレーム間の全体的な動きを推定することは、多くのビデオ安定化技術の中心ですが、大きな課題をもたらします。大規模な作業では、グローバル モーションに 2D アフィン変換またはホモグラフィが使用されます。ただし、この作業では、既存のオプティカル フロー ネットワークを適応させて移動オブジェクトを無視し、ビデオ フレーム間のグローバル モーションの空間的に滑らかな近似を取得する、より一般的な表現方式を紹介します。これは、知識の蒸留アプローチによって実現されます。最初にローパス フィルター モジュールをオプティカル フロー ネットワークに導入して、予測されるオプティカル フローが空間的に滑らかになるように制約します。これが、GlobalFlowNet という名前の学生ネットワークになります。次に、元のオプティカル フロー ネットワークを教師ネットワークとして使用し、堅牢な損失関数を使用して生徒ネットワークをトレーニングします。トレーニング済みの GlobalFlowNet を使用して、2 段階のプロセスを使用してビデオを安定させます。最初の段階では、視野の損失を制御するために、ユーザー指定のトリミング制限によって制約される二次計画法アプローチを使用して、アフィン パラメーターの不安定性を修正します。第 2 段階では、少数の離散コサイン変換係数を使用して表現されるグローバル モーション パラメーターを平滑化することにより、ビデオをさらに安定させます。さまざまな異なるビデオでの広範な実験では、私たちの技術は、主観的な品質とビデオの安定性のさまざまな定量的尺度の点で、最先端の技術よりも優れています。ソース コードは、https://github.com/GlobalFlowNet/GlobalFlowNethttps://github.com/GlobalFlowNet/GlobalFlowNet で公開されています。
Videos shot by laymen using hand-held cameras contain undesirable shaky motion. Estimating the global motion between successive frames, in a manner not influenced by moving objects, is central to many video stabilization techniques, but poses significant challenges. A large body of work uses 2D affine transformations or homography for the global motion. However, in this work, we introduce a more general representation scheme, which adapts any existing optical flow network to ignore the moving objects and obtain a spatially smooth approximation of the global motion between video frames. We achieve this by a knowledge distillation approach, where we first introduce a low pass filter module into the optical flow network to constrain the predicted optical flow to be spatially smooth. This becomes our student network, named as GlobalFlowNet. Then, using the original optical flow network as the teacher network, we train the student network using a robust loss function. Given a trained GlobalFlowNet, we stabilize videos using a two stage process. In the first stage, we correct the instability in affine parameters using a quadratic programming approach constrained by a user-specified cropping limit to control loss of field of view. In the second stage, we stabilize the video further by smoothing global motion parameters, expressed using a small number of discrete cosine transform coefficients. In extensive experiments on a variety of different videos, our technique outperforms state of the art techniques in terms of subjective quality and different quantitative measures of video stability. The source code is publicly available at https://github.com/GlobalFlowNet/GlobalFlowNethttps://github.com/GlobalFlowNet/GlobalFlowNet
updated: Fri Nov 04 2022 15:03:05 GMT+0000 (UTC)
published: Tue Oct 25 2022 05:09:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト