arXiv reaDer
ディープラーニングベースの人間のデジタル化を活用した効率的な現実的なデータ生成フレームワーク
Efficient Realistic Data Generation Framework leveraging Deep Learning-based Human Digitization
教師あり深層学習アルゴリズムのパフォーマンスは、トレーニングに使用されるデータの規模、品質、多様性に大きく依存します。大量のデータを収集して手動で注釈を付けることは、実行するのに時間とコストの両方のタスクになる可能性があります。視覚的な人間中心の知覚に関連するタスクの場合、そのようなデータの収集と配布も、プライバシーに関する法律のために制限に直面する可能性があります。さらに、深層学習ベースの知覚モデルを採用することが多いロボットなどの複雑なシステムの設計とテストは、実際の大規模なデータセットでトレーニングされた最先端の方法でさえ常に実行できるとは限らないため、深刻な問題に直面する可能性があります。仮想データと実世界のデータの視覚的な違いに適応していないため、適切に対応できます。これらの問題に取り組み、その影響を軽減する試みとして、a)人物検出、b)顔認識、c)人間の姿勢推定のための注釈付きの現実的な合成データを自動的に生成する方法を提示します。提案された方法は、入力として実際の背景画像を取り、それらにさまざまなポーズの人物を配置します。手作りの3D人間モデルを使用する代わりに、ディープラーニング手法によって生成されたモデルの使用を提案し、高レベルのリアリズムを維持しながら、データセットの作成コストをさらに削減します。さらに、提案されたパイプラインを実装するオープンソースで使いやすいツールを提供し、さまざまなタスク用の非常にリアルな合成データセットを生成できるようにします。対応するタスクのベンチマークと評価は、合成データが実際のデータの補足として効果的に使用できることを示しています。
The performance of supervised deep learning algorithms depends significantly on the scale, quality and diversity of the data used for their training. Collecting and manually annotating large amount of data can be both time-consuming and costly tasks to perform. In the case of tasks related to visual human-centric perception, the collection and distribution of such data may also face restrictions due to legislation regarding privacy. In addition, the design and testing of complex systems, e.g., robots, which often employ deep learning-based perception models, may face severe difficulties as even state-of-the-art methods trained on real and large-scale datasets cannot always perform adequately as they have not adapted to the visual differences between the virtual and the real world data. As an attempt to tackle and mitigate the effect of these issues, we present a method that automatically generates realistic synthetic data with annotations for a) person detection, b) face recognition, and c) human pose estimation. The proposed method takes as input real background images and populates them with human figures in various poses. Instead of using hand-made 3D human models, we propose the use of models generated through deep learning methods, further reducing the dataset creation costs, while maintaining a high level of realism. In addition, we provide open-source and easy to use tools that implement the proposed pipeline, allowing for generating highly-realistic synthetic datasets for a variety of tasks. A benchmarking and evaluation in the corresponding tasks shows that synthetic data can be effectively used as a supplement to real data.
updated: Mon Jun 28 2021 08:07:31 GMT+0000 (UTC)
published: Mon Jun 28 2021 08:07:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト