arXiv reaDer
歪みを意識した特徴修正によるビデオのセマンティックセグメンテーション
Video Semantic Segmentation with Distortion-Aware Feature Correction
ビデオのセマンティックセグメンテーションは近年活発になっており、画像のセマンティックセグメンテーションの大きな進歩の恩恵を受けています。このようなタスクの場合、計算コストが高いため、フレームごとの画像セグメンテーションは実際には一般的に受け入れられません。この問題に取り組むために、多くの作品はフローベースの機能伝播を使用して、以前のフレームの機能を再利用しています。ただし、オプティカルフローの推定は必然的に不正確になり、伝播された機能が歪む原因になります。このホワイトペーパーでは、この問題を軽減するために歪みを認識した特徴修正を提案します。これにより、歪んだ伝播特徴を修正することにより、ビデオセグメンテーションのパフォーマンスが向上します。具体的には、まず、特徴から歪みパターンを画像空間に転送し、効果的な歪みマップ予測を行うことを提案します。歪みマップのガイダンスの恩恵を受けて、歪み領域で伝播された特徴を修正するための特徴修正モジュール(FCM)を提案しました。私たちの提案する方法は、ビデオのセマンティックセグメンテーションの精度を低価格で大幅に向上させることができます。 CityscapesとCamVidに関する広範な実験結果は、私たちの方法が最近の最先端の方法よりも優れていることを示しています。
Video semantic segmentation is active in recent years benefited from the great progress of image semantic segmentation. For such a task, the per-frame image segmentation is generally unacceptable in practice due to high computation cost. To tackle this issue, many works use the flow-based feature propagation to reuse the features of previous frames. However, the optical flow estimation inevitably suffers inaccuracy and then causes the propagated features distorted. In this paper, we propose distortion-aware feature correction to alleviate the issue, which improves video segmentation performance by correcting distorted propagated features. To be specific, we firstly propose to transfer distortion patterns from feature into image space and conduct effective distortion map prediction. Benefited from the guidance of distortion maps, we proposed Feature Correction Module (FCM) to rectify propagated features in the distorted areas. Our proposed method can significantly boost the accuracy of video semantic segmentation at a low price. The extensive experimental results on Cityscapes and CamVid show that our method outperforms the recent state-of-the-art methods.
updated: Thu Nov 12 2020 09:12:50 GMT+0000 (UTC)
published: Thu Jun 18 2020 09:30:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト