arXiv reaDer
パノプティック セグメンテーションの組み合わせ最適化: エンド ツー エンドのトレーニング可能なアプローチ
Combinatorial Optimization for Panoptic Segmentation: An End-to-End Trainable Approach
畳み込みニューラル ネットワークと非対称マルチウェイ カット問題ソルバーで構成される同時セマンティック セグメンテーションとインスタンス セグメンテーション (別名パノプティック セグメンテーション) のためのエンド ツー エンドのトレーニング可能なアーキテクチャを提案します。後者は、セマンティック予測と境界予測をエレガントに組み込んでパノプティラベリングを生成する組み合わせ最適化問題を解決します。私たちの定式化により、最適化問題を通じて勾配を逆伝播することにより、パノラマ品質メトリックのスムーズなサロゲートを直接最大化できます。実験的評価は、都市の景観と COCO データセットでの同等のアプローチに対するエンド ツー エンドの学習の改善を示しています。全体として、私たちのアプローチは、困難な大規模な現実世界の問題で深層学習と組み合わせて組み合わせ最適化を使用することの有用性を示しており、そのようなアーキテクチャをエンド ツー エンドでトレーニングすることの利点と洞察を示しています。
We propose an end-to-end trainable architecture for simultaneous semantic and instance segmentation (a.k.a. panoptic segmentation) consisting of a convolutional neural network and an asymmetric multiway cut problem solver. The latter solves a combinatorial optimization problem that elegantly incorporates semantic and boundary predictions to produce a panoptic labeling. Our formulation allows to directly maximize a smooth surrogate of the panoptic quality metric by backpropagating the gradient through the optimization problem. Experimental evaluation shows improvement of end-to-end learning w.r.t. comparable approaches on Cityscapes and COCO datasets. Overall, our approach shows the utility of using combinatorial optimization in tandem with deep learning in a challenging large scale real-world problem and showcases benefits and insights into training such an architecture end-to-end.
updated: Sun Jun 06 2021 17:39:13 GMT+0000 (UTC)
published: Sun Jun 06 2021 17:39:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト