arXiv reaDer
Hallucinating Beyond Observation: Learning to Complete with Partial Observation and Unpaired Prior Knowledge
  スキップ接続を使用する畳み込みエンコーダーデコーダーネットワークが幻覚によって部分的に観測されたデータを完了することを可能にする新しいシングルステップトレーニング戦略を提案します。この戦略は、2D道路レイアウトと3D車両形状を完成させるタスクで実証されています。入力として、グラウンドトゥルースが利用できない部分的に観測されたドメインからのデータと、ペアになっていない事前知識ドメインからのデータを取得し、エンドツーエンドの方法でネットワークをトレーニングします。シングルステップトレーニング戦略は、2段階の自動エンコーダートレーニング戦略を使用するものと、敵対的戦略を使用するものの2つの最先端のベースラインと比較されます。私たちの新しい戦略は、Cityscapesデータセットで最大+ 12.2%のF尺度の改善を達成します。学習したネットワークは、本質的に、不可視のデータセットのベースラインよりもよく一般化されます。これは、不可視のKITTIデータセットで最大+ 23.8%のF尺度の改善によって実証されます。さらに、このアプローチは、3-D形状補完ベンチマークで同じバックボーンネットワークを使用して、0.006ハミング距離のマージンでベースラインよりも優れています。
We propose a novel single-step training strategy that allows convolutional encoder-decoder networks that use skip connections, to complete partially observed data by means of hallucination. This strategy is demonstrated for the task of completing 2-D road layouts as well as 3-D vehicle shapes. As input, it takes data from a partially observed domain, for which no ground truth is available, and data from an unpaired prior knowledge domain and trains the network in an end-to-end manner. Our single-step training strategy is compared against two state-of-the-art baselines, one using a two-step auto-encoder training strategy and one using an adversarial strategy. Our novel strategy achieves an improvement up to +12.2% F-measure on the Cityscapes dataset. The learned network intrinsically generalizes better than the baselines on unseen datasets, which is demonstrated by an improvement up to +23.8% F-measure on the unseen KITTI dataset. Moreover, our approach outperforms the baselines using the same backbone network on the 3-D shape completion benchmark by a margin of 0.006 Hamming distance.
updated: Fri Sep 06 2019 13:34:21 GMT+0000 (UTC)
published: Tue Jul 23 2019 09:40:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト