食品インスタンスのセグメンテーションは、食品画像内の料理の分量を推定するために不可欠です。セグメンテーションなどの最近の最先端技術は、優れたセグメンテーション品質と高速計算を備えた深層学習ネットワークです。それにもかかわらず、彼らはデータに飢えており、注釈には費用がかかります。このペーパーでは、限られたデータラベル付け予算を考慮してモデルのパフォーマンスを最適化するための増分学習フレームワークを提案します。このフレームワークの機能は、ラベルのないサンプルが最新のトレーニング済みインスタンス セグメンテーション モデルに対してどの程度難しいかを予測する、新しい難易度評価モデルです。データ収集手順はいくつかの段階に分かれており、各段階で新しいサンプル パッケージが収集されます。このフレームワークは、ラベル付けの予算を最も困難なサンプルに割り当てます。評価モデルからの特定の条件を満たすラベルのないサンプルは、擬似ラベルの生成に使用されます。最終的に、手動ラベルと疑似ラベルがトレーニング データに送信され、インスタンス セグメンテーション モデルが改善されます。 4 つの大規模な食品データセットにおいて、私たちが提案したフレームワークは現在の増分学習ベンチマークを上回り、完全にアノテーションが付けられたサンプルでトレーニングされたモデルと競合するパフォーマンスを達成します。
Food instance segmentation is essential to estimate the serving size of dishes in a food image. The recent cutting-edge techniques for instance segmentation are deep learning networks with impressive segmentation quality and fast computation. Nonetheless, they are hungry for data and expensive for annotation. This paper proposes an incremental learning framework to optimize the model performance given a limited data labelling budget. The power of the framework is a novel difficulty assessment model, which forecasts how challenging an unlabelled sample is to the latest trained instance segmentation model. The data collection procedure is divided into several stages, each in which a new sample package is collected. The framework allocates the labelling budget to the most difficult samples. The unlabelled samples that meet a certain qualification from the assessment model are used to generate pseudo-labels. Eventually, the manual labels and pseudo-labels are sent to the training data to improve the instance segmentation model. On four large-scale food datasets, our proposed framework outperforms current incremental learning benchmarks and achieves competitive performance with the model trained on fully annotated samples.