arXiv reaDer
DUT:不安定なビデオを見るだけでビデオの安定化を学ぶ
DUT:Learning Video Stabilization by Simply Watching Unstable Videos
このペーパーでは、深い教師なし軌道ベースの安定化フレームワーク(DUT)を提案します。コードはhttps://github.com/Annbless/DUTCodeで入手できます。従来のスタビライザーは、軌道ベースの平滑化に重点を置いています。手作りの機能の使用に関するテクスチャのないケース。一方、以前のディープビデオスタビライザーは、明示的な軌道推定なしに教師ありの方法で安定したビデオを直接生成します。これは堅牢ですが制御が難しく、適切なペアデータを取得するのは困難です。制御可能で堅牢なスタビライザーを構築するために、DUTは、DNNベースのキーポイント検出器とグリッドベースの軌道を生成するモーション推定器で構成される教師なし深層学習方法で軌道を明示的に推定および平滑化することにより、不安定なビデオを安定化する最初の試みを行います。また、DNNベースの軌跡がよりスムーズになり、ビデオが安定します。教師なしトレーニングでは、動きの連続性の性質と、安定化前後のキーポイントとグリッド頂点の一貫性の両方を活用します。公開ベンチマークでの実験結果は、DUTが定性的および定量的に代表的な最先端の方法よりも優れていることを示しています。
We propose a Deep Unsupervised Trajectory-based stabilization framework (DUT) in this paperOur code is available at https://github.com/Annbless/DUTCode.. Traditional stabilizers focus on trajectory-based smoothing, which is controllable but fragile in occluded and textureless cases regarding the usage of hand-crafted features. On the other hand, previous deep video stabilizers directly generate stable videos in a supervised manner without explicit trajectory estimation, which is robust but less controllable and the appropriate paired data are hard to obtain. To construct a controllable and robust stabilizer, DUT makes the first attempt to stabilize unstable videos by explicitly estimating and smoothing trajectories in an unsupervised deep learning manner, which is composed of a DNN-based keypoint detector and motion estimator to generate grid-based trajectories, and a DNN-based trajectory smoother to stabilize videos. We exploit both the nature of continuity in motion and the consistency of keypoints and grid vertices before and after stabilization for unsupervised training. Experiment results on public benchmarks show that DUT outperforms representative state-of-the-art methods both qualitatively and quantitatively.
updated: Mon Nov 30 2020 06:48:20 GMT+0000 (UTC)
published: Mon Nov 30 2020 06:48:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト