arXiv reaDer
私の深さの根拠-真実は十分ですか? HAMMER-DEnse3Dシーン回帰用の高精度マルチモーダルデータセット
Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression
深度推定は、3Dコンピュータビジョンのコアタスクです。最近の方法では、さまざまな深度センサーモダリティでトレーニングされた単眼深度のタスクを調査しています。すべてのセンサーには、見積もりの性質によって引き起こされる長所と短所があります。文献では、ほとんどの場合、深度の平均平均誤差が調査されており、センサーの機能については通常説明されていません。ただし、特に屋内環境では、一部のデバイスに課題があります。テクスチャのない領域は、運動からの構造に課題をもたらし、反射材料はアクティブセンシングに問題があり、半透明の材料の距離は、既存のセンサーで測定するのが複雑です。この論文では、HAMMERを提案します。これは、屋内深度推定に一般的に使用される複数のセンサーからの深度推定、つまりToF、ステレオ、構造化光と単眼RGB+Pデータで構成されるデータセットです。 3Dスキャナーと位置合わせされたレンダリングを使用して、信頼性の高いグラウンドトゥルース深度マップを作成します。人気のある深度推定器は、このデータと典型的な深度センサーで訓練されています。推定値は、さまざまなシーン構造で広範囲に分析されます。困難ではあるが日常的なシーンコンテンツを伴う家庭環境でのさまざまなセンサー技術から生じる一般化の問題に気づきます。私たちが公開しているHAMMERは、ターゲットを絞った深度改善とセンサーフュージョンアプローチへの道を開くための信頼できる基盤を提供します。
Depth estimation is a core task in 3D computer vision. Recent methods investigate the task of monocular depth trained with various depth sensor modalities. Every sensor has its advantages and drawbacks caused by the nature of estimates. In the literature, mostly mean average error of the depth is investigated and sensor capabilities are typically not discussed. Especially indoor environments, however, pose challenges for some devices. Textureless regions pose challenges for structure from motion, reflective materials are problematic for active sensing, and distances for translucent material are intricate to measure with existing sensors. This paper proposes HAMMER, a dataset comprising depth estimates from multiple commonly used sensors for indoor depth estimation, namely ToF, stereo, structured light together with monocular RGB+P data. We construct highly reliable ground truth depth maps with the help of 3D scanners and aligned renderings. A popular depth estimators is trained on this data and typical depth senosors. The estimates are extensively analyze on different scene structures. We notice generalization issues arising from various sensor technologies in household environments with challenging but everyday scene content. HAMMER, which we make publicly available, provides a reliable base to pave the way to targeted depth improvements and sensor fusion approaches.
updated: Mon May 09 2022 21:25:09 GMT+0000 (UTC)
published: Mon May 09 2022 21:25:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト