予測のアンサンブルは、個別に行われる個々の予測よりもパフォーマンスが優れていることが知られています。ただし、セマンティックセグメンテーションなど、大量の計算リソースを必要とするタスクの場合、個別にトレーニングする必要のある学習者のアンサンブルを作成することは、ほとんど扱いにくいものです。この作業では、アンサンブルの従来の重いトレーニングコストを回避しながら、アンサンブルメソッドによって提供されるパフォーマンスの向上を活用してセマンティックセグメンテーションを強化することを提案します。私たちの自己アンサンブルフレームワークは、機能ピラミッドネットワークメソッドによって生成されたマルチスケール機能セットを利用して、独立したデコーダーにフィードし、単一のモデル内にアンサンブルを作成します。アンサンブルと同様に、最終的な予測は、各学習者によって行われた予測の集計です。以前の作品とは対照的に、私たちのモデルはエンドツーエンドでトレーニングでき、アンサンブルの従来の面倒な多段階トレーニングを軽減します。当社のセルフアンサンブルフレームワークは、セマンティックセグメンテーションのベンチマークデータセットADE20K、Pascal Context、およびCOCO-Stuff-10Kで現在の最先端を上回り、Cityscapesで競争力があります。コードはgithub.com/WalBouss/SenFormerで入手できます。
Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, e.g. semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble framework takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble framework outperforms the current state-of-the-art on the benchmark datasets ADE20K, Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on Cityscapes. Code will be available at github.com/WalBouss/SenFormer.