arXiv reaDer
SMURF:フルイメージワーピングを備えた自己学習型マルチフレーム教師なしRAFT
SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
オプティカルフローの教師なし学習の方法であるSMURFを紹介します。これは、すべてのベンチマークで最新技術を36%から40%(以前の最良の方法UFlowよりも)改善し、PWC-NetやFlowNet2などのいくつかの監視付きアプローチよりも優れています。私たちの方法は、教師ありオプティカルフロー、つまりRAFTモデルからのアーキテクチャの改善を、シーケンス認識自己監視損失、フレーム外の動きを処理する手法、およびから効果的に学習するためのアプローチを含む教師なし学習の新しいアイデアと統合します。マルチフレームビデオデータでありながら、推論に必要なフレームは2つだけです。
We present SMURF, a method for unsupervised learning of optical flow that improves state of the art on all benchmarks by 36% to 40% (over the prior best method UFlow) and even outperforms several supervised approaches such as PWC-Net and FlowNet2. Our method integrates architecture improvements from supervised optical flow, i.e. the RAFT model, with new ideas for unsupervised learning that include a sequence-aware self-supervision loss, a technique for handling out-of-frame motion, and an approach for learning effectively from multi-frame video data while still only requiring two frames for inference.
updated: Fri May 14 2021 18:02:50 GMT+0000 (UTC)
published: Fri May 14 2021 18:02:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト