arXiv reaDer
知覚的再構成を使用した教師なし単発深度推定
Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction
実際の物体深度のリアルタイム推定は、3D再構築、シーンの理解、機械部品の状態評価など、さまざまな自律システムタスクを実行するために不可欠なモジュールです。機械学習の過去10年間で、コンピュータービジョンタスクへの深層学習手法の広範な展開により、単純なRGBモダリティから現実的な深さ合成を実現することに成功したアプローチが生まれました。これらのモデルのほとんどは、ペアの深度データまたはビデオシーケンスとステレオ画像の可用性に基づいていますが、完全に監視されていない設定でのシングルビュー深度合成の方法はほとんど検討されていません。この研究は、生成ニューラルネットワークの分野における最新の進歩を示しており、それらを活用して完全に教師なしのシングルショット深度合成を実行します。 RGBから深度および深度からRGBへの転送用の2つのジェネレーターが実装され、Wasserstein-1距離と新しい知覚再構成項を使用して同時に最適化されます。提案された方法が妥当であることを確認するために、工業用表面深度データ、テキサス3D顔認識データベース、および体の深度を記録するSURREALデータセットを使用してモデルを包括的に評価します。この研究で観察された成功は、実世界のアプリケーションにおける教師なしシングルショット深度推定の大きな可能性を示唆しています。
Real-time estimation of actual object depth is a module that is essential to performing various autonomous system tasks such as 3D reconstruction, scene understanding and condition assessment of machinery parts. During the last decade of machine learning, extensive deployment of deep learning methods to computer vision tasks has yielded approaches that succeed in achieving realistic depth synthesis out of a simple RGB modality. While most of these models are based on paired depth data or availability of video sequences and stereo images, methods for single-view depth synthesis in a fully unsupervised setting have hardly been explored. This study presents the most recent advances in the field of generative neural networks, leveraging them to perform fully unsupervised single-shot depth synthesis. Two generators for RGB-to-depth and depth-to-RGB transfer are implemented and simultaneously optimized using the Wasserstein-1 distance and a novel perceptual reconstruction term. To ensure that the proposed method is plausible, we comprehensively evaluate the models using industrial surface depth data as well as the Texas 3D Face Recognition Database and the SURREAL dataset that records body depth. The success observed in this study suggests the great potential for unsupervised single-shot depth estimation in real-world applications.
updated: Wed Feb 16 2022 07:33:20 GMT+0000 (UTC)
published: Fri Jan 28 2022 15:11:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト