適用された画像セグメンテーション タスクでは、トレーニング用に多数の正確なラベルを提供できることが、推論時のモデルの精度にとって最も重要です。ただし、このオーバーヘッドは無視されることが多く、最近提案されたセグメンテーション アーキテクチャは、最先端の精度を達成するために、グラウンド トゥルース ラベルの可用性と忠実度に大きく依存しています。適切なグラウンド トゥルースを作成することの難しさを認識しないと、事前にトレーニングされたモデルに過度に依存したり、実際のアプリケーションで採用されなかったりする可能性があります。この問題に直接対処するコンテキスト メトリック学習手法を利用するモデルである Points2Polygons (P2P) を紹介します。 Points2Polygons は、軽量のセグメンテーション モデル (ResNet18 バックボーンを備えた U-Net) を使用し、事前トレーニングなしでオブジェクトの重心の形で弱いラベルのみにアクセスできるにもかかわらず、限られたトレーニング データで既存の完全に監視されたセグメンテーション ベースラインに対してうまく機能します。これを、いくつかの小さいが重要なデータセットで実証します。コンテキスト データを使用したメトリクス学習が、一般的な自己教師ありタスクの重要な洞察を提供し、コンピューター ビジョンの従来のラベル集約型ドメイン全体でセグメンテーション モデルを簡単に一般化できることを示します。
In applied image segmentation tasks, the ability to provide numerous and precise labels for training is paramount to the accuracy of the model at inference time. However, this overhead is often neglected, and recently proposed segmentation architectures rely heavily on the availability and fidelity of ground truth labels to achieve state-of-the-art accuracies. Failure to acknowledge the difficulty in creating adequate ground truths can lead to an over-reliance on pre-trained models or a lack of adoption in real-world applications. We introduce Points2Polygons (P2P), a model which makes use of contextual metric learning techniques that directly addresses this problem. Points2Polygons performs well against existing fully-supervised segmentation baselines with limited training data, despite using lightweight segmentation models (U-Net with a ResNet18 backbone) and having access to only weak labels in the form of object centroids and no pre-training. We demonstrate this on several different small but non-trivial datasets. We show that metric learning using contextual data provides key insights for self-supervised tasks in general, and allow segmentation models to easily generalize across traditionally label-intensive domains in computer vision.