最近、セマンティックセグメンテーションとインスタンスセグメンテーションを組み合わせたパノプティコンセグメンテーションタスクがあり、その目標は、各ピクセルを対応するインスタンスIDで分類することです。この作業では、パノラマセグメンテーションタスクに取り組むためのソリューションを提案します。全体の構造は、ボトムアップ方式とトップダウン方式を組み合わせたものです。したがって、パフォーマンスが向上するだけでなく、実行速度も維持できます。ネットワークは主にマスクの品質に注意を払っています。前の作業では、オブジェクトの不均一な輪郭が表示される可能性が高く、予測の品質が低くなっていることがわかります。したがって、マスクを改善するために、オブジェクトと背景のシルエットの拡張機能と対応する損失関数を提案します。一方、新しい提案された信頼スコアを使用して、オクルージョンの問題を解決し、ネットワークが予測結果としてより高品質のマスクを使用する傾向があるようにします。調査を検証するために、COCOデータセットとCityScapesデータセットを使用して実験を行い、高速な推論時間で競争力のある結果を取得しました。
Recently, there has been a panoptic segmentation task combining semantic and instance segmentation, in which the goal is to classify each pixel with the corresponding instance ID. In this work, we propose a solution to tackle the panoptic segmentation task. The overall structure combines the bottom-up method and the top-down method. Therefore, not only can there be better performance, but also the execution speed can be maintained. The network mainly pays attention to the quality of the mask. In the previous work, we can see that the uneven contour of the object is more likely to appear, resulting in low-quality prediction. Accordingly, we propose enhancement features and corresponding loss functions for the silhouette of objects and backgrounds to improve the mask. Meanwhile, we use the new proposed confidence score to solve the occlusion problem and make the network tend to use higher quality masks as prediction results. To verify our research, we used the COCO dataset and CityScapes dataset to do experiments and obtained competitive results with fast inference time.