arXiv reaDer
マルチフレームGAN:低光量でのステレオビジュアルオドメトリの画像強化
Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light
  マルチフレームGAN(MFGAN)の概念を提案し、低照度条件下でのステレオビジュアルオドメトリーの画像シーケンス強化としての可能性を示します。可逆的な敵対的ネットワークに基づいて、費用のかかるペアのデータセットを使用せずに、明るく照らされたシーンの有益な機能を弱い照明のシーケンスに転送します。翻訳されたシーケンスのコヒーレントな幾何学的な手がかりを保持するために、オプティカルフロー推定に基づいて、時間とステレオの一貫性を組み合わせた新しいネットワークアーキテクチャと新しい損失項を提示します。強化されたシーケンスが、挑戦的な照明での合成データセットと実際のデータセットの両方で、最先端の機能ベースの直接ステレオビジュアルオドメトリ法のパフォーマンスを改善することを示します。また、MFGANが他の最先端の画像強化およびスタイル転送方法よりも視覚的な走行距離に関して大きなマージンで優れていることも示しています。
We propose the concept of a multi-frame GAN (MFGAN) and demonstrate its potential as an image sequence enhancement for stereo visual odometry in low light conditions. We base our method on an invertible adversarial network to transfer the beneficial features of brightly illuminated scenes to the sequence in poor illumination without costly paired datasets. In order to preserve the coherent geometric cues for the translated sequence, we present a novel network architecture as well as a novel loss term combining temporal and stereo consistencies based on optical flow estimation. We demonstrate that the enhanced sequences improve the performance of state-of-the-art feature-based and direct stereo visual odometry methods on both synthetic and real datasets in challenging illumination. We also show that MFGAN outperforms other state-of-the-art image enhancement and style transfer methods by a large margin in terms of visual odometry.
updated: Tue Oct 15 2019 10:11:10 GMT+0000 (UTC)
published: Tue Oct 15 2019 10:11:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト