arXiv reaDer
3D Packing for Self-Supervised Monocular Depth Estimation
 カメラはどこにでもありますが、ロボットプラットフォームは通常、直接の3D認識のためにLiDARのようなアクティブセンサーに依存しています。この作業では、ラベルなしの単眼ビデオからのみ学習した新しい深層ネットワーク、PackNetとジオメトリを組み合わせた、新しい自己教師あり単眼深度推定法を提案します。私たちのアーキテクチャは、新しい対称パッキングおよびアンパッキングブロックを活用して、3Dコンボリューションを使用して詳細を保持する表現を圧縮および圧縮解除する方法を共同で学習します。自己教師ありですが、この方法は、KITTIベンチマークで他の自己、半、および完全に教師ありの方法よりも優れています。 PackNetの3D誘導バイアスにより、入力解像度とパラメーターの数に合わせてオーバーフィットすることなくスケーリングでき、NuScenesデータセットなどのドメイン外のデータでより適切に一般化できます。さらに、ImageNetでの大規模な教師あり事前トレーニングを必要とせず、リアルタイムで実行できます。最後に、DDAD(自動運転の密な深度)をリリースします。これは、世界中の自動運転車両に搭載された高密度LiDARから生成される長距離かつ高密度のグラウンドトゥルース深度によって、より困難で正確な深度評価を行う新しい都市運転データセットです。
Although cameras are ubiquitous, robotic platforms typically rely on active sensors like LiDAR for direct 3D perception. In this work, we propose a novel self-supervised monocular depth estimation method combining geometry with a new deep network, PackNet, learned only from unlabeled monocular videos. Our architecture leverages novel symmetrical packing and unpacking blocks to jointly learn to compress and decompress detail-preserving representations using 3D convolutions. Although self-supervised, our method outperforms other self, semi, and fully supervised methods on the KITTI benchmark. The 3D inductive bias in PackNet enables it to scale with input resolution and number of parameters without overfitting, generalizing better on out-of-domain data such as the NuScenes dataset. Furthermore, it does not require large-scale supervised pretraining on ImageNet and can run in real-time. Finally, we release DDAD (Dense Depth for Automated Driving), a new urban driving dataset with more challenging and accurate depth evaluation, thanks to longer-range and denser ground-truth depth generated from high-density LiDARs mounted on a fleet of self-driving cars operating world-wide.
updated: Sat Mar 28 2020 18:49:27 GMT+0000 (UTC)
published: Mon May 06 2019 17:09:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト