完全畳み込みネットワーク(FCN)と画像セマンティックセグメンテーション用のDempster-Shaferレイヤーで構成されるハイブリッドアーキテクチャを提案します。いわゆる証拠FCN(E-FCN)では、エンコーダ-デコーダアーキテクチャは最初に入力画像からピクセル単位の特徴マップを抽出します。次に、Dempster-Shaferレイヤーは、プロトタイプまでの距離に基づいて、各ピクセル位置で質量関数を計算します。最後に、ユーティリティレイヤーは、質量関数からセマンティックセグメンテーションを実行し、あいまいなピクセルと外れ値の不正確な分類を可能にします。ソフト(不正確)ラベルを利用できるネットワークパラメータを共同で更新するためのエンドツーエンドの学習戦略を提案します。 3つのデータベース(Pascal VOC 2011、MITシーン解析およびSIFTフロー)を使用した実験は、提案された組み合わせが、混乱するピクセルをマルチクラスセットに割り当てることにより、セマンティックセグメンテーションの精度とキャリブレーションを改善することを示しています。
We propose a hybrid architecture composed of a fully convolutional network (FCN) and a Dempster-Shafer layer for image semantic segmentation. In the so-called evidential FCN (E-FCN), an encoder-decoder architecture first extracts pixel-wise feature maps from an input image. A Dempster-Shafer layer then computes mass functions at each pixel location based on distances to prototypes. Finally, a utility layer performs semantic segmentation from mass functions and allows for imprecise classification of ambiguous pixels and outliers. We propose an end-to-end learning strategy for jointly updating the network parameters, which can make use of soft (imprecise) labels. Experiments using three databases (Pascal VOC 2011, MIT-scene Parsing and SIFT Flow) show that the proposed combination improves the accuracy and calibration of semantic segmentation by assigning confusing pixels to multi-class sets.