海草の牧草地は重要な炭素吸収源として機能しますが、そこに蓄積されている炭素の量を正確に推定するには、存在する海草の種に関する知識が必要です。機械学習アルゴリズムを搭載した水中および水上車両を使用すると、海草草原の構成と範囲を大規模に正確に推定するのに役立ちます。ただし、海草の検出と分類のための以前のアプローチでは、パッチレベルのラベルによる完全な監視が必要でした。この論文では、海草分類を、トレーニング中に画像レベルのラベルが使用され (パッチレベルのラベル付けに比べて 25 分の 1 のラベル)、パッチレベルの出力が推論時に取得される、弱く教師ありの粗いセグメンテーション問題として再構成します。この目的のために、教師なしの対照的な事前トレーニングと機能の類似性を使用して背景と海草のパッチを分離するアーキテクチャである SeaFeats と、ドメイン固有のアプリケーションでの監視信号としての大規模な言語モデルの有効性を示すモデルである SeaCLIP を紹介します。 SeaFeats と SeaCLIP のアンサンブルが非常に堅牢なパフォーマンスにつながることを示します。SeaCLIP は背景クラスを控えめに予測して、ぼやけたパッチや暗いパッチでの誤った海草の誤分類を回避します。私たちの方法は、複数種の「DeepSeagrass」データセットでパッチレベルのラベルを必要とする以前のアプローチよりも、クラス加重 F1 スコアで 6.8% (絶対)、海草の存在/不在で F1 スコアで 12.1% (絶対) 優れています。 「地球規模の湿地」データセット。また、実際の展開に関する 2 つのケース スタディも紹介します。Global Wetlands データセットでの外れ値の検出と、自律型水上車両である FloatyBoat によって収集された画像へのこの方法の適用です。
Seagrass meadows serve as critical carbon sinks, but accurately estimating the amount of carbon they store requires knowledge of the seagrass species present. Using underwater and surface vehicles equipped with machine learning algorithms can help to accurately estimate the composition and extent of seagrass meadows at scale. However, previous approaches for seagrass detection and classification have required full supervision from patch-level labels. In this paper, we reframe seagrass classification as a weakly supervised coarse segmentation problem where image-level labels are used during training (25 times fewer labels compared to patch-level labeling) and patch-level outputs are obtained at inference time. To this end, we introduce SeaFeats, an architecture that uses unsupervised contrastive pretraining and feature similarity to separate background and seagrass patches, and SeaCLIP, a model that showcases the effectiveness of large language models as a supervisory signal in domain-specific applications. We demonstrate that an ensemble of SeaFeats and SeaCLIP leads to highly robust performance, with SeaCLIP conservatively predicting the background class to avoid false seagrass misclassifications in blurry or dark patches. Our method outperforms previous approaches that require patch-level labels on the multi-species 'DeepSeagrass' dataset by 6.8% (absolute) for the class-weighted F1 score, and by 12.1% (absolute) F1 score for seagrass presence/absence on the 'Global Wetlands' dataset. We also present two case studies for real-world deployment: outlier detection on the Global Wetlands dataset, and application of our method on imagery collected by FloatyBoat, an autonomous surface vehicle.