arXiv reaDer
Time-of-Flight RGB-Dモジュールのエンドツーエンドの詳細なアライメントと改良
Deep End-to-End Alignment and Refinement for Time-of-Flight RGB-D Module
  最近、モバイルRGBカメラにアクティブ深度センシング用の飛行時間(ToF)センサーを装備することがますます一般的になっています。ただし、既製のToFセンサーの場合、RGBカメラに関して高品質の深度を得るには、2つの問題に対処する必要があります。つまり、1)オンラインキャリブレーションとアライメント。 2)ToF深度センシングの複雑なエラー修正。この作業では、ディープラーニングを介した共同調整と洗練のためのフレームワークを提案します。まず、RGBイメージとToF振幅イメージ間のクロスモーダルオプティカルフローのアライメントを推定します。次に、カーネルの正規化を実行し、動的畳み込みの前にバイアスを適用する改良されたカーネル予測ネットワークを介して、調整された深さが調整されます。エンドツーエンドのトレーニング用にデータを充実させるために、コンピューターグラフィックスのツールを使用してデータセットを合成しました。実験結果は、ToFの改良のための最先端を達成するアプローチの有効性を示しています。
Recently, it is increasingly popular to equip mobile RGB cameras with Time-of-Flight (ToF) sensors for active depth sensing. However, for off-the-shelf ToF sensors, one must tackle two problems in order to obtain high-quality depth with respect to the RGB camera, namely 1) online calibration and alignment; and 2) complicated error correction for ToF depth sensing. In this work, we propose a framework for jointly alignment and refinement via deep learning. First, a cross-modal optical flow between the RGB image and the ToF amplitude image is estimated for alignment. The aligned depth is then refined via an improved kernel predicting network that performs kernel normalization and applies the bias prior to the dynamic convolution. To enrich our data for end-to-end training, we have also synthesized a dataset using tools from computer graphics. Experimental results demonstrate the effectiveness of our approach, achieving state-of-the-art for ToF refinement.
updated: Tue Sep 17 2019 07:25:42 GMT+0000 (UTC)
published: Tue Sep 17 2019 07:25:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト