この論文では、深い教師なし軌道ベースの安定化フレームワーク(DUT)を提案します。従来のスタビライザーは、軌道ベースのスムージングに重点を置いています。これは、制御可能ですが、手作りの機能の使用に関して、閉塞したテクスチャのない場合には壊れやすくなります。一方、以前のディープビデオスタビライザーは、明示的な軌道推定なしに教師ありの方法で安定したビデオを直接生成します。これは堅牢ですが制御が難しく、適切なペアデータを取得するのは困難です。制御可能で堅牢なスタビライザーを構築するために、DUTは、DNNベースのキーポイント検出器とグリッドベースの軌道を生成するモーション推定器で構成される教師なし深層学習方法で軌道を明示的に推定および平滑化することにより、不安定なビデオを安定化する最初の試みを行います。また、DNNベースの軌跡がよりスムーズになり、ビデオが安定します。教師なしトレーニングでは、動きの連続性の性質と、安定化前後のキーポイントとグリッド頂点の一貫性の両方を活用します。公開ベンチマークでの実験結果は、DUTが定性的および定量的に代表的な最先端の方法よりも優れていることを示しています。
We propose a Deep Unsupervised Trajectory-based stabilization framework (DUT) in this paper. Traditional stabilizers focus on trajectory-based smoothing, which is controllable but fragile in occluded and textureless cases regarding the usage of hand-crafted features. On the other hand, previous deep video stabilizers directly generate stable videos in a supervised manner without explicit trajectory estimation, which is robust but less controllable and the appropriate paired data are hard to obtain. To construct a controllable and robust stabilizer, DUT makes the first attempt to stabilize unstable videos by explicitly estimating and smoothing trajectories in an unsupervised deep learning manner, which is composed of a DNN-based keypoint detector and motion estimator to generate grid-based trajectories, and a DNN-based trajectory smoother to stabilize videos. We exploit both the nature of continuity in motion and the consistency of keypoints and grid vertices before and after stabilization for unsupervised training. Experiment results on public benchmarks show that DUT outperforms representative state-of-the-art methods both qualitatively and quantitatively.