arXiv reaDer
運動の次元:単一の画像からオプティカルフローの部分空間を予測することを学ぶ
Dimensions of Motion: Learning to Predict a Subspace of Optical Flow from a Single Image
単一のビデオフレームから、実際の瞬間的なオプティカルフローを含むオプティカルフローの低次元部分空間を予測する問題を紹介します。いくつかの自然なシーンの仮定により、視差とオブジェクトインスタンスの表現によってパラメータ化された一連の基底フローフィールドを介して適切なフロー部分空間を特定する方法を示します。フロー部分空間は、新しい損失関数とともに、単眼深度を予測するタスク、または深度とオブジェクトインスタンスの埋め込みを予測するタスクに使用できます。これにより、カメラの本質やポーズを必要とせずに、単眼入力ビデオを使用して教師なしでこれらのタスクを学習するための新しいアプローチが提供されます。
We introduce the problem of predicting, from a single video frame, a low-dimensional subspace of optical flow which includes the actual instantaneous optical flow. We show how several natural scene assumptions allow us to identify an appropriate flow subspace via a set of basis flow fields parameterized by disparity and a representation of object instances. The flow subspace, together with a novel loss function, can be used for the tasks of predicting monocular depth or predicting depth plus an object instance embedding. This provides a new approach to learning these tasks in an unsupervised fashion using monocular input video without requiring camera intrinsics or poses.
updated: Thu Jan 06 2022 16:07:13 GMT+0000 (UTC)
published: Thu Dec 02 2021 18:52:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト