arXiv reaDer
NViSII:フォトリアリスティックな画像生成のためのスクリプト可能なツール
NViSII: A Scriptable Tool for Photorealistic Image Generation
NVIDIA の OptiX レイ トレーシング エンジンと OptiX AI デノイザー上に構築された Python ベースのレンダラーを紹介します。これは、コンピューター ビジョンとディープ ラーニングの研究用に高品質の合成画像を生成するように設計されています。このツールを使用すると、オブジェクト メッシュ、マテリアル、テクスチャ、照明、ボリューム データ (煙など)、および背景を含む複雑な動的 3D シーンの記述と操作が可能になります。 2D/3D バウンディング ボックス、セグメンテーション マスク、深度マップ、法線マップ、マテリアル プロパティ、オプティカル フロー ベクトルなどのメタデータも生成できます。この作業では、設計の目標、アーキテクチャ、およびパフォーマンスについて説明します。オブジェクト検出器と姿勢推定器をトレーニングするためのパス トレースによって生成されたデータの使用を示し、従来のラスター ベースのレンダラーでは困難な状況でのシミュレートからリアルへの転送におけるパフォーマンスの向上を示しています。このツールは、合成データ生成と深層学習の研究を進めるための使いやすく、パフォーマンスが高く、高品質のレンダラーとして提供されます。
We present a Python-based renderer built on NVIDIA's OptiX ray tracing engine and the OptiX AI denoiser, designed to generate high-quality synthetic images for research in computer vision and deep learning. Our tool enables the description and manipulation of complex dynamic 3D scenes containing object meshes, materials, textures, lighting, volumetric data (e.g., smoke), and backgrounds. Metadata, such as 2D/3D bounding boxes, segmentation masks, depth maps, normal maps, material properties, and optical flow vectors, can also be generated. In this work, we discuss design goals, architecture, and performance. We demonstrate the use of data generated by path tracing for training an object detector and pose estimator, showing improved performance in sim-to-real transfer in situations that are difficult for traditional raster-based renderers. We offer this tool as an easy-to-use, performant, high-quality renderer for advancing research in synthetic data generation and deep learning.
updated: Fri May 28 2021 16:35:32 GMT+0000 (UTC)
published: Fri May 28 2021 16:35:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト