arXiv reaDer
サイクル整合性のあるワッサースタインGANを使用した対になっていない単一画像の深さの合成
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
実際の環境深度のリアルタイム推定は、ローカリゼーション、障害物検出、ポーズ推定などのさまざまな自律システムタスクに不可欠なモジュールです。機械学習の過去10年間に、コンピュータービジョンタスクへの深層学習手法の広範な展開により、単純なRGBモダリティから現実的な深度合成を行うための成功したアプローチが生まれました。これらのモデルのほとんどは、ペアの深度データまたはビデオシーケンスとステレオ画像の可用性に基づいていますが、教師なしの方法で単一画像の深度合成に直面する方法が不足しています。したがって、この研究では、生成ニューラルネットワークの分野における最新の進歩を活用して、完全に教師なしの単一画像深度合成を行います。より正確には、RGBから深度への転送と深度からRGBへの転送のための2つのサイクル整合性のあるジェネレーターが実装され、Wasserstein-1距離を使用して同時に最適化されます。提案された方法の妥当性を確保するために、モデルを自己取得した産業データセットと有名なNYU Depth v2データセットに適用します。これにより、既存のアプローチとの比較が可能になります。この研究で観察された成功は、実世界のアプリケーションで対になっていない単一画像の深度推定の可能性が高いことを示唆しています。
Real-time estimation of actual environment depth is an essential module for various autonomous system tasks such as localization, obstacle detection and pose estimation. During the last decade of machine learning, extensive deployment of deep learning methods to computer vision tasks yielded successful approaches for realistic depth synthesis out of a simple RGB modality. While most of these models rest on paired depth data or availability of video sequences and stereo images, there is a lack of methods facing single-image depth synthesis in an unsupervised manner. Therefore, in this study, latest advancements in the field of generative neural networks are leveraged to fully unsupervised single-image depth synthesis. To be more exact, two cycle-consistent generators for RGB-to-depth and depth-to-RGB transfer are implemented and simultaneously optimized using the Wasserstein-1 distance. To ensure plausibility of the proposed method, we apply the models to a self acquised industrial data set as well as to the renown NYU Depth v2 data set, which allows comparison with existing approaches. The observed success in this study suggests high potential for unpaired single-image depth estimation in real world applications.
updated: Fri Jul 08 2022 08:38:15 GMT+0000 (UTC)
published: Wed Mar 31 2021 09:43:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト