arXiv reaDer
CNNとドメイン適応によるシェーディングからの高周波形状回復
High-frequency shape recovery from shading by CNN and domain adaptation
構造化光ベースのワンショットスキャン技術の重要性は、その単純なシステム構成と移動するオブジェクトをキャプチャする機能のために高まっています。この手法の重大な制限の1つは、空間情報をエンコードするために投影パターンの特定の領域が必要なため、スパース形状のみをキャプチャでき、高周波形状はキャプチャできないことです。本論文では、単一カメラによる構造化光に基づくワンショットRGB-Dセンサーによってキャプチャされたシェーディング情報を使用して高周波形状を復元する手法を提案します。カラー画像は物体表面の陰影情報で構成されているため、陰影技術から形状によって高周波形状を復元することができます。シェーディング手法による形状には、照明位置の異なる複数の画像が必要ですが、単一の画像から形状を復元するための学習ベースのアプローチを提案します。さらに、トレーニングのために十分な量のデータを準備するという問題を克服するために、合成データとドメイン適応を使用した高周波形状の新しいデータ拡張方法を提案します。提案手法の有効性を確認するための実験結果を示した。
Importance of structured-light based one-shot scanning technique is increasing because of its simple system configuration and ability of capturing moving objects. One severe limitation of the technique is that it can capture only sparse shape, but not high frequency shapes, because certain area of projection pattern is required to encode spatial information. In this paper, we propose a technique to recover high-frequency shapes by using shading information, which is captured by one-shot RGB-D sensor based on structured light with single camera. Since color image comprises shading information of object surface, high-frequency shapes can be recovered by shape from shading techniques. Although multiple images with different lighting positions are required for shape from shading techniques, we propose a learning based approach to recover shape from a single image. In addition, to overcome the problem of preparing sufficient amount of data for training, we propose a new data augmentation method for high-frequency shapes using synthetic data and domain adaptation. Experimental results are shown to confirm the effectiveness of the proposed method.
updated: Fri Aug 06 2021 04:35:34 GMT+0000 (UTC)
published: Fri Aug 06 2021 04:35:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト