arXiv reaDer
どこまで行けますか? :決定論的ビデオ深度予測のための自己監視アプローチ
How Far Can I Go ? : A Self-Supervised Approach for Deterministic Video Depth Forecasting
この論文では、将来の観測されていない現実世界の都市シーンの深度推定を予測するための新しい自己監視法を提示します。この作品は、ビデオの将来の観察されていないフレームの単眼深度を推定するための自己教師あり学習を探求する最初のものです。既存の作品は、目に見えないフレームの深さの確率的予測を生成するために、多数の注釈付きサンプルに依存しています。ただし、これにより、ビデオの注釈付き深度サンプルが大量に必要になるため、非現実的になります。さらに、1つの過去が複数の将来の結果をもたらす可能性があるケースの確率的性質は、多くの場合、不正確な深度推定につながります。以前の方法とは異なり、観察されていないフレームの深度推定をビュー合成問題としてモデル化します。これは、学習されたポーズを使用してビューを合成し直しながら、見えないビデオフレームの深度推定を補助タスクとして扱います。このアプローチは費用効果が高いだけでなく、トレーニングにグラウンドトゥルースの深さを使用しない(したがって実用的)だけでなく、決定論的(過去のフレームのシーケンスが近い将来にマッピングされる)も使用します。このタスクに対処するために、まず、潜在的な特徴を予測することによって観測されていない未来の深度を推定する新しい深度予測ネットワークDeFNetを開発します。次に、観測されていないフレームのポーズを推定するチャネル注意ベースのポーズ推定ネットワークを開発します。この学習されたポーズを使用して、推定された深度マップが画像ドメインに再構築され、自己監視ソリューションが形成されます。私たちが提案するアプローチは、KITTIとCityscapesでベンチマークされた、短期および中期の両方の予測設定で、最先端の代替案と比較してAbsRelメトリックが大幅に改善されていることを示しています。コードはhttps://github.com/sauradip/depthForecastingで入手できます
In this paper we present a novel self-supervised method to anticipate the depth estimate for a future, unobserved real-world urban scene. This work is the first to explore self-supervised learning for estimation of monocular depth of future unobserved frames of a video. Existing works rely on a large number of annotated samples to generate the probabilistic prediction of depth for unseen frames. However, this makes it unrealistic due to its requirement for large amount of annotated depth samples of video. In addition, the probabilistic nature of the case, where one past can have multiple future outcomes often leads to incorrect depth estimates. Unlike previous methods, we model the depth estimation of the unobserved frame as a view-synthesis problem, which treats the depth estimate of the unseen video frame as an auxiliary task while synthesizing back the views using learned pose. This approach is not only cost effective - we do not use any ground truth depth for training (hence practical) but also deterministic (a sequence of past frames map to an immediate future). To address this task we first develop a novel depth forecasting network DeFNet which estimates depth of unobserved future by forecasting latent features. Second, we develop a channel-attention based pose estimation network that estimates the pose of the unobserved frame. Using this learned pose, estimated depth map is reconstructed back into the image domain, thus forming a self-supervised solution. Our proposed approach shows significant improvements in Abs Rel metric compared to state-of-the-art alternatives on both short and mid-term forecasting setting, benchmarked on KITTI and Cityscapes. Code is available at https://github.com/sauradip/depthForecasting
updated: Fri Jul 08 2022 20:19:13 GMT+0000 (UTC)
published: Fri Jul 01 2022 15:51:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト