ラベル不足オブジェクトを検出するためのさまざまな戦略が、コンピューター ビジョン研究コミュニティによって検討されてきました。これらの戦略は主に、自然画像に特有の仮定に依存しており、生物学的および生物医学的な視覚領域には直接適用できません。たとえば、ほとんどの半教師あり学習戦略は、信頼できるグラウンド トゥルースの情報源としてラベル付きデータの小さなセットに依存しています。ただし、多くの生物学的視覚アプリケーションでは、グラウンド トゥルースは不明であり、間接的な情報がノイズの多い推定または直交証拠の形で入手できる可能性があります。この研究では、空間トランスクリプトミクスにおける重要な問題である In-Situ-Sequencing (ISS) 画像からのバーコードの解読を、半教師あり物体検出 (SSOD) 問題として枠組み化しました。私たちが提案するフレームワークは、追加の利用可能な情報ソースを特権情報の形で半教師あり学習フレームワークに組み込んでいます。特権情報は、教師と生徒の自己トレーニングの反復における教師の疑似ラベル付けに組み込まれます。利用可能な特権情報はデータ ドメイン固有である可能性がありますが、特権情報によって強化された擬似ラベル付け (PLePI) の一般的な戦略を導入し、ISS 画像を使用してその概念を例示しました。また、CLIP によって提供された追加の証拠を使用して COCO ベンチマークでも実証しました。
Various strategies for label-scarce object detection have been explored by the computer vision research community. These strategies mainly rely on assumptions that are specific to natural images and not directly applicable to the biological and biomedical vision domains. For example, most semi-supervised learning strategies rely on a small set of labeled data as a confident source of ground truth. In many biological vision applications, however, the ground truth is unknown and indirect information might be available in the form of noisy estimations or orthogonal evidence. In this work, we frame a crucial problem in spatial transcriptomics - decoding barcodes from In-Situ-Sequencing (ISS) images - as a semi-supervised object detection (SSOD) problem. Our proposed framework incorporates additional available sources of information into a semi-supervised learning framework in the form of privileged information. The privileged information is incorporated into the teacher's pseudo-labeling in a teacher-student self-training iteration. Although the available privileged information could be data domain specific, we have introduced a general strategy of pseudo-labeling enhanced by privileged information (PLePI) and exemplified the concept using ISS images, as well on the COCO benchmark using extra evidence provided by CLIP.