この作業では、弱く摂動された画像の予測が、その強く摂動されたバージョンの監督として機能する、半教師あり分類から FixMatch によって普及した、弱から強への整合性フレームワークを再検討します。興味深いことに、このような単純なパイプラインは、セグメンテーション シナリオに移行すると、最近の高度な作業に対してすでに競争力のある結果を達成していることがわかります。その成功は、強力なデータ拡張の手動設計に大きく依存していますが、これは限られており、より広い摂動空間を調査するには不十分である可能性があります.これに動機付けられて、補助機能摂動ストリームを補足として提案し、摂動空間の拡大につながります。一方、元の画像レベルの拡張を十分に調べるために、デュアルストリーム摂動手法を提示し、2 つの強いビューを共通の弱いビューによって同時に誘導できるようにします。その結果、全体的なユニファイド デュアル ストリーム摂動アプローチ (UniMatch) は、Pascal、Cityscapes、および COCO ベンチマークのすべての評価プロトコルで既存のすべての方法を大幅に上回っています。また、リモートセンシングの解釈と医用画像解析においても、この方法の優位性を示しています。コードは https://github.com/LiheYoung/UniMatch で入手できます。
In this work, we revisit the weak-to-strong consistency framework, popularized by FixMatch from semi-supervised classification, where the prediction of a weakly perturbed image serves as supervision for its strongly perturbed version. Intriguingly, we observe that such a simple pipeline already achieves competitive results against recent advanced works, when transferred to our segmentation scenario. Its success heavily relies on the manual design of strong data augmentations, however, which may be limited and inadequate to explore a broader perturbation space. Motivated by this, we propose an auxiliary feature perturbation stream as a supplement, leading to an expanded perturbation space. On the other, to sufficiently probe original image-level augmentations, we present a dual-stream perturbation technique, enabling two strong views to be simultaneously guided by a common weak view. Consequently, our overall Unified Dual-Stream Perturbations approach (UniMatch) surpasses all existing methods significantly across all evaluation protocols on the Pascal, Cityscapes, and COCO benchmarks. We also demonstrate the superiority of our method in remote sensing interpretation and medical image analysis. Code is available at https://github.com/LiheYoung/UniMatch.