ディープモデルのトレーニングでは合成画像がより頻繁に使用されるため、さまざまな合成手法がそのようなモデルのパフォーマンスに与える影響を理解することが重要です。この作業では、いくつかの異なる合成手法の有効性と、複製しようとする「実際の」基礎となるデータ分布への分類器ドメイン適応の複雑さへの影響の徹底的な評価を行います。さらに、大幅に少ない計算リソースを使用しながら、最新のオフライングラフィカル手法よりも分類器モデルをよりよくトレーニングするための新しい学習合成手法を提案します。これを実現するために、生成モデルを学習して、レンダリングするシーンの「gバッファ」表現を条件とする合成ジオメトリのシェーディングと、低サンプルモンテカルロレンダリングイメージを実行します。主な貢献は、(i)同じシーンの実際のバージョンと合成バージョンの比較を可能にするデータセット、(ii)学習の安定性を高め、データセットの精度を向上させる拡張データ表現、(iii)3つの異なる部分微分可能なレンダリング手法照明、ノイズ除去、シェーディングが学習され、(iv)訓練されたモデルのアンサンブルを使用して実際のデータでの訓練のパフォーマンスに近づき、パフォーマンスを上回るデータセットを生成することにより、最先端の生成的敵対ネットワーク(GAN)アプローチを改善します完全なグローバルイルミネーションレンダリング。
As synthetic imagery is used more frequently in training deep models, it is important to understand how different synthesis techniques impact the performance of such models. In this work, we perform a thorough evaluation of the effectiveness of several different synthesis techniques and their impact on the complexity of classifier domain adaptation to the "real" underlying data distribution that they seek to replicate. In addition, we propose a novel learned synthesis technique to better train classifier models than state-of-the-art offline graphical methods, while using significantly less computational resources. We accomplish this by learning a generative model to perform shading of synthetic geometry conditioned on a "g-buffer" representation of the scene to render, as well as a low sample Monte Carlo rendered image. The major contributions are (i) a dataset that allows comparison of real and synthetic versions of the same scene, (ii) an augmented data representation that boosts the stability of learning and improves the datasets accuracy, (iii) three different partially differentiable rendering techniques where lighting, denoising and shading are learned, and (iv) we improve a state of the art generative adversarial network (GAN) approach by using an ensemble of trained models to generate datasets that approach the performance of training on real data and surpass the performance of the full global illumination rendering.