arXiv reaDer
OmniFlow:人間の全方向性オプティカルフロー
OmniFlow: Human Omnidirectional Optical Flow
オプティカルフローは、少なくとも2つの連続するビデオフレーム間のピクセルの動きであり、エンドツーエンドのトレーニング可能な畳み込みニューラルネットワークを介して推定できます。このため、オプティカルフロー推定の精度を向上させるには、大規模なトレーニングデータセットが必要です。私たちの論文は、OmniFlow:新しい合成全方向性人間オプティカルフローデータセットを紹介します。レンダリングエンジンに基づいて、テクスチャのある部屋、キャラクター、アクション、オブジェクト、照明、モーションブラーを備えた、自然主義的な3D屋内環境を作成します。この環境では、データキャプチャプロセス中に環境のすべてのコンポーネントがシャッフルされます。シミュレーションには、家庭の活動とそれに対応する前方および後方のオプティカルフローのレンダリング画像が出力として含まれています。オプティカルフロー推定のためのボリューム対応ネットワークをトレーニングするためのデータを検証するために、データのさまざまなサブセットをトレーニングし、Test-Time-Augmentationを使用した場合と使用しない場合のOmniFlowでテストします。その結果、23,653の画像ペアと、それに対応する前方および後方のオプティカルフローが生成されました。データセットはhttps://mytuc.org/byfsからダウンロードできます。
Optical flow is the motion of a pixel between at least two consecutive video frames and can be estimated through an end-to-end trainable convolutional neural network. To this end, large training datasets are required to improve the accuracy of optical flow estimation. Our paper presents OmniFlow: a new synthetic omnidirectional human optical flow dataset. Based on a rendering engine we create a naturalistic 3D indoor environment with textured rooms, characters, actions, objects, illumination and motion blur where all components of the environment are shuffled during the data capturing process. The simulation has as output rendered images of household activities and the corresponding forward and backward optical flow. To verify the data for training volumetric correspondence networks for optical flow estimation we train different subsets of the data and test on OmniFlow with and without Test-Time-Augmentation. As a result we have generated 23,653 image pairs and corresponding forward and backward optical flow. Our dataset can be downloaded from: https://mytuc.org/byfs
updated: Fri Apr 16 2021 08:25:20 GMT+0000 (UTC)
published: Fri Apr 16 2021 08:25:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト