注釈の負担は、セマンティックセグメンテーションに対する最大の障壁の1つになっています。したがって、クリックレベルの注釈に基づくアプローチは、監視と注釈のコストの間の優れたトレードオフにより、ますます注目を集めています。本論文では、クリックレベルの監視によるセマンティックセグメンテーションの新しい学習パラダイムであるセミナー学習を提案します。セミナー学習の基本的な理論的根拠は、さまざまなネットワークからの知識を活用して、クリックレベルの注釈で提供される不十分な情報を補うことです。セミナーを模倣して、私たちのセミナー学習には、教師と生徒、および生徒と生徒のモジュールが含まれます。このモジュールでは、生徒は熟練した教師と他の生徒の両方から学ぶことができます。 Teacher-Studentモジュールは、指数移動平均に基づく教師ネットワークを使用して、学生ネットワークのトレーニングをガイドします。学生-学生モジュールでは、学生間の知識の伝達を橋渡しして互いのパフォーマンスを向上させるために、異種の疑似ラベルが提案されています。実験結果は、セミナー学習の有効性を示しています。これは、72.51%(mIOU)の新しい最先端のパフォーマンスを達成し、Pascal VOC 2012データセットで最大16.88%の大幅なマージンで以前の方法を上回っています。
Annotation burden has become one of the biggest barriers to semantic segmentation. Approaches based on click-level annotations have therefore attracted increasing attention due to their superior trade-off between supervision and annotation cost. In this paper, we propose seminar learning, a new learning paradigm for semantic segmentation with click-level supervision. The fundamental rationale of seminar learning is to leverage the knowledge from different networks to compensate for insufficient information provided in click-level annotations. Mimicking a seminar, our seminar learning involves a teacher-student and a student-student module, where a student can learn from both skillful teachers and other students. The teacher-student module uses a teacher network based on the exponential moving average to guide the training of the student network. In the student-student module, heterogeneous pseudo-labels are proposed to bridge the transfer of knowledge among students to enhance each other's performance. Experimental results demonstrate the effectiveness of seminar learning, which achieves the new state-of-the-art performance of 72.51% (mIOU), surpassing previous methods by a large margin of up to 16.88% on the Pascal VOC 2012 dataset.