arXiv reaDer
UnrealROX +:仮想3D環境から合成データを取得するための改善されたツール
UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual 3D Environments
合成データの生成は、データ駆動型アルゴリズムを提供するために近年不可欠になりました。これは、ほとんどすべてのコンピュータービジョンの問題で従来の手法のパフォーマンスを上回りました。現実の世界でこれらのデータを大量に消費するモデルに必要な量のデータを収集してラベル付けすると、実行不可能でエラーが発生しやすくなる可能性がありますが、合成データでは、ピクセル単位の注釈を使用して大量のデータを生成できる可能性があります。ただし、ほとんどの合成データセットは、レンダリングされた画像に十分なリアリズムがありません。その文脈で、UnrealROX生成ツールは2019年に発表され、最先端のビデオゲームエンジンであるUnreal Engineに基づく効率的なパイプラインを使用して、高解像度とフレームレートで非常にリアルなデータを生成できるようになりました。 UnrealROXにより、ロボットビジョンの研究者は、クラスとインスタンスのセマンティックセグメンテーション、オブジェクト検出、深度推定、視覚的把握、ナビゲーションなどのさまざまな問題について、完全なグラウンドトゥルースを備えた現実的で視覚的にもっともらしいデータを生成できました。それにもかかわらず、そのワークフローはロボット搭載カメラから画像シーケンスを生成することに非常に結びついており、他の目的のためにデータを生成することは困難でした。この作業では、UnrealROXの改良版であるUnrealROX +を紹介します。このバージョンでは、分離された使いやすいデータ取得システムにより、はるかに柔軟でカスタマイズ可能な方法でデータを迅速に設計および生成できます。さらに、Unrealプラグインとしてパッケージ化されているため、既存のUnrealプロジェクトでより快適に使用できます。また、ディープラーニングフレームワークから仮想環境と対話するためのアルベドやPythonAPIの生成などの新機能も含まれています。
Synthetic data generation has become essential in last years for feeding data-driven algorithms, which surpassed traditional techniques performance in almost every computer vision problem. Gathering and labelling the amount of data needed for these data-hungry models in the real world may become unfeasible and error-prone, while synthetic data give us the possibility of generating huge amounts of data with pixel-perfect annotations. However, most synthetic datasets lack from enough realism in their rendered images. In that context UnrealROX generation tool was presented in 2019, allowing to generate highly realistic data, at high resolutions and framerates, with an efficient pipeline based on Unreal Engine, a cutting-edge videogame engine. UnrealROX enabled robotic vision researchers to generate realistic and visually plausible data with full ground truth for a wide variety of problems such as class and instance semantic segmentation, object detection, depth estimation, visual grasping, and navigation. Nevertheless, its workflow was very tied to generate image sequences from a robotic on-board camera, making hard to generate data for other purposes. In this work, we present UnrealROX+, an improved version of UnrealROX where its decoupled and easy-to-use data acquisition system allows to quickly design and generate data in a much more flexible and customizable way. Moreover, it is packaged as an Unreal plug-in, which makes it more comfortable to use with already existing Unreal projects, and it also includes new features such as generating albedo or a Python API for interacting with the virtual environment from Deep Learning frameworks.
updated: Fri Apr 23 2021 18:45:42 GMT+0000 (UTC)
published: Fri Apr 23 2021 18:45:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト