arXiv reaDer
Using Image Priors to Improve Scene Understanding
  複数のカメラ視点にわたってオブジェクトをロバストにセグメント化できるセマンティックセグメンテーションアルゴリズムは、自動運転などの新しいアプリケーションでナビゲーションと安全性を確保するために重要です。既存のアルゴリズムは各画像を個別に処理しますが、自動車両はしばしば同じ場所を再訪したり、過去の情報を維持したりします。シーケンシャル駆動データセットからの画像のセマンティックセグメンテーションを改善するために、これらの画像優先順位を活用するためのシンプルで効果的な方法を提案します。これらの一時的なシーンの事前情報を融合するいくつかの方法を検討し、この情報を転送する方法を学習できる事前の融合ネットワークを導入します。従来のフュージョンモデルは、動的クラスでは69.1%から73.3%に、静的クラスでは88.2%から89.1%に、非優先ベースラインよりも精度を向上させます。 FCN-8などのモデルと比較して、従来の方法は5倍少ないパラメーターで同じ精度を達成します。単純なエンコーダーデコーダーバックボーンを使用しましたが、この一般的な従来の融合方法は、より複雑なセマンティックセグメンテーションバックボーンに適用できます。また、シーングラフの形式でのシーンの構造化された表現を、シーンの理解をさらに向上させるための事前条件として活用する方法についても説明します。
Semantic segmentation algorithms that can robustly segment objects across multiple camera viewpoints are crucial for assuring navigation and safety in emerging applications such as autonomous driving. Existing algorithms treat each image in isolation, but autonomous vehicles often revisit the same locations or maintain information from the immediate past. We propose a simple yet effective method for leveraging these image priors to improve semantic segmentation of images from sequential driving datasets. We examine several methods to fuse these temporal scene priors, and introduce a prior fusion network that is able to learn how to transfer this information. The prior fusion model improves the accuracy over the non-prior baseline from 69.1% to 73.3% for dynamic classes, and from 88.2% to 89.1% for static classes. Compared to models such as FCN-8, our prior method achieves the same accuracy with 5 times fewer parameters. We used a simple encoder decoder backbone, but this general prior fusion method could be applied to more complex semantic segmentation backbones. We also discuss how structured representations of scenes in the form of a scene graph could be leveraged as priors to further improve scene understanding.
updated: Wed Oct 02 2019 20:08:26 GMT+0000 (UTC)
published: Wed Oct 02 2019 20:08:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト