オンライン ビデオ安定化のタスクのための新しいカメラ パス最適化フレームワークを提示します。通常、スタビライゼーション パイプラインは、モーション推定、パス スムージング、新規ビュー レンダリングの 3 つのステップで構成されます。これまでのほとんどの方法は、さまざまなグローバルまたはローカル モーション モデルを提案するモーション推定に集中していました。対照的に、パスの最適化は、特に将来のフレームが利用できない重要なオンライン設定では、比較的注目されていません。この作業では、モーション推定に最近の既製の高品質のディープモーションモデルを採用して、カメラの軌跡を回復し、後者の2つのステップに焦点を当てています。私たちのネットワークは、スライディング ウィンドウ内の短い 2D カメラ パスを入力として受け取り、ウィンドウ内の最後のフレームの安定化ワープ フィールドを出力します。これにより、次のフレームが安定した位置にワープされます。ハイブリッド損失は、空間的および時間的な一貫性を制約するために明確に定義されています。さらに、トレーニング用の安定したモーションと不安定なモーションのペアを含むモーション データセットを構築します。広範な実験により、私たちのアプローチが最先端のオンライン方法を質的にも量的にも大幅に上回り、オフライン方法に匹敵するパフォーマンスを達成することが実証されています。
We present a novel camera path optimization framework for the task of online video stabilization. Typically, a stabilization pipeline consists of three steps: motion estimating, path smoothing, and novel view rendering. Most previous methods concentrate on motion estimation, proposing various global or local motion models. In contrast, path optimization receives relatively less attention, especially in the important online setting, where no future frames are available. In this work, we adopt recent off-the-shelf high-quality deep motion models for the motion estimation to recover the camera trajectory and focus on the latter two steps. Our network takes a short 2D camera path in a sliding window as input and outputs the stabilizing warp field of the last frame in the window, which warps the coming frame to its stabilized position. A hybrid loss is well-defined to constrain the spatial and temporal consistency. In addition, we build a motion dataset that contains stable and unstable motion pairs for the training. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art online methods both qualitatively and quantitatively and achieves comparable performance to offline methods.