arXiv reaDer
生成的敵対ネットワークによる交通シーン予測の強化
Enhancing Traffic Scene Predictions with Generative Adversarial Networks
  関連するオブジェクトを確実に検出できる交通シーンのフレームを予測するための新しい2ステージパイプラインを提供します。最近のビデオ予測ネットワークを使用して、最初に過去のフレームに基づいて将来のフレームのシーケンスを生成します。次に、2番目のネットワークがこれらのフレームを強化して、よりリアルに見せます。これにより、予測フレームの品質がオブジェクトの正確な検出を可能にするのに十分であることが保証されます。これは、自動運転車にとって特に重要です。この2段階のアプローチを検証するために、Cityscapesデータセットで実験を実施しました。強化のため、生成的敵対ネットワークに基づく2つの画像から画像への変換方法をトレーニングしました。1つはブラインドモーションブラー除去用、もう1つは画像超解像用です。結果として生じるすべての予測は、従来のメトリックと最先端のオブジェクト検出ネットワークの両方を使用して定量的に評価され、強化されたフレームが定性的に改善されているように見えます。従来の画像比較メトリック、つまりMSE、PSNR、およびSSIMでは、この視覚的な印象を確認できませんでしたが、オブジェクト検出評価はよく似ています。最高のパフォーマンスを発揮する予測強化パイプラインは、強化されていない予測と比較して、予測ステップごとに車を検出するための平均精度値を約9%向上させることができます。
We present a new two-stage pipeline for predicting frames of traffic scenes where relevant objects can still reliably be detected. Using a recent video prediction network, we first generate a sequence of future frames based on past frames. A second network then enhances these frames in order to make them appear more realistic. This ensures the quality of the predicted frames to be sufficient to enable accurate detection of objects, which is especially important for autonomously driving cars. To verify this two-stage approach, we conducted experiments on the Cityscapes dataset. For enhancing, we trained two image-to-image translation methods based on generative adversarial networks, one for blind motion deblurring and one for image super-resolution. All resulting predictions were quantitatively evaluated using both traditional metrics and a state-of-the-art object detection network showing that the enhanced frames appear qualitatively improved. While the traditional image comparison metrics, i.e., MSE, PSNR, and SSIM, failed to confirm this visual impression, the object detection evaluation resembles it well. The best performing prediction-enhancement pipeline is able to increase the average precision values for detecting cars by about 9% for each prediction step, compared to the non-enhanced predictions.
updated: Tue Sep 24 2019 12:14:48 GMT+0000 (UTC)
published: Tue Sep 24 2019 12:14:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト