自律型マシンの需要が高まるにつれ、視覚的なシーンを理解するためのピクセル単位のセマンティックセグメンテーションは、正確であるだけでなく、潜在的なリアルタイムアプリケーションにとって効率的である必要があります。この論文では、競争力のある予測精度を維持しながら、最先端技術と比較して大幅に低い計算コストを備えた、デュアルブランチ畳み込みニューラルネットワーク(CNN)であるCABiNet(Context Aggregated Bi-lateral Network)を提案します。高速セマンティックセグメンテーションのための既存のマルチブランチアーキテクチャに基づいて、効果的な空間ディテールのための安価な高解像度ブランチと、軽量バージョンのグローバルアグリゲーションとローカル分散ブロックを備えたコンテキストブランチを設計し、両方の長距離をキャプチャするのに強力です計算のオーバーヘッドが少なく、正確なセマンティックセグメンテーションに必要なローカルコンテキスト依存関係。具体的には、Cityscapesの検証セットとテストセットでそれぞれ76.6%と75.9%のmIOUを達成し、NVIDIA RTX2080Tiでは76FPS、Jetson XavierNXでは8FPSを達成しています。コードとトレーニングモデルは一般に公開されます。
With the increasing demand of autonomous machines, pixel-wise semantic segmentation for visual scene understanding needs to be not only accurate but also efficient for any potential real-time applications. In this paper, we propose CABiNet (Context Aggregated Bi-lateral Network), a dual branch convolutional neural network (CNN), with significantly lower computational costs as compared to the state-of-the-art, while maintaining a competitive prediction accuracy. Building upon the existing multi-branch architectures for high-speed semantic segmentation, we design a cheap high resolution branch for effective spatial detailing and a context branch with light-weight versions of global aggregation and local distribution blocks, potent to capture both long-range and local contextual dependencies required for accurate semantic segmentation, with low computational overheads. Specifically, we achieve 76.6% and 75.9% mIOU on Cityscapes validation and test sets respectively, at 76 FPS on an NVIDIA RTX 2080Ti and 8 FPS on a Jetson Xavier NX. Codes and training models will be made publicly available.