リアルタイムのセマンティックセグメンテーションの場合、高解像度を維持しながら速度を上げる方法は、議論され解決された問題です。バックボーンデザインとフュージョンデザインは、常にリアルタイムセマンティックセグメンテーションの2つの重要な部分です。以前の設計経験に基づいて軽量ネットワークを設計し、事前トレーニングなしで最先端のリアルタイムセマンティックセグメンテーションのレベルに到達したいと考えています。この目標を達成するために、リアルタイムセグメンテーションタスク用に設計されたバックボーンモデルにデコーダネットワークを適用し、集約フェーズでセマンティクスと詳細情報を融合する3つの異なる方法を設計することにより、この問題を解決するエンコーダ-デコーダアーキテクチャが提案されています。 2つのセマンティックセグメンテーションベンチマークで広範な実験を実施しました。 CityscapesおよびCamVidデータセットでの実験は、提案されたFRFNetが速度計算と精度のバランスをとることを示しています。 1枚のRTX2080Tiカードで161FPSの速度で、Cityscapesテストデータセットで76.4%の平均交差点(mIoU%)を達成します。コードはhttps://github.com/favoMJ/FRFNetで入手できます。
For real-time semantic segmentation, how to increase the speed while maintaining high resolution is a problem that has been discussed and solved. Backbone design and fusion design have always been two essential parts of real-time semantic segmentation. We hope to design a light-weight network based on previous design experience and reach the level of state-of-the-art real-time semantic segmentation without any pre-training. To achieve this goal, a encoder-decoder architectures are proposed to solve this problem by applying a decoder network onto a backbone model designed for real-time segmentation tasks and designed three different ways to fuse semantics and detailed information in the aggregation phase. We have conducted extensive experiments on two semantic segmentation benchmarks. Experiments on the Cityscapes and CamVid datasets show that the proposed FRFNet strikes a balance between speed calculation and accuracy. It achieves 76.4% Mean Intersection over Union (mIoU%) on the Cityscapes test dataset with the speed of 161 FPS on a single RTX 2080Ti card. The Code is available at https://github.com/favoMJ/FRFNet.