トレーニングまたは推論で手動の注釈を付けずに、ビデオ内の主要なオブジェクトをセグメント化する方法である IMAS を提示します。教師なしビデオ オブジェクト セグメンテーション (UVOS) の以前の方法では、モーションがセグメンテーションの入力または監視として有効であることが実証されています。ただし、モーション信号は、変形可能なオブジェクトや反射のあるオブジェクトなどの場合、情報がなく、誤解を招く可能性があり、不十分なセグメンテーションを引き起こします。対照的に、IMAS は Motion-Appearance Synergy により改善された UVOS を実現します。この方法には 2 つのトレーニング段階があります。 2) 誤解を招く動きの手がかりから学んだモデルの誤解を修正するための、低レベルと高レベルの両方の外観監視を備えた洗練段階。さらに、モデルにとらわれないアノテーション不要のハイパーパラメータ調整方法として、モーション セマンティック アラインメントを提案します。以前に人間の注釈または手作りのハイパーパラメータ固有のメトリックで調整された重要なハイパーパラメータの調整におけるその有効性を実証します。 IMAS は、いくつかの一般的な UVOS ベンチマークでセグメンテーションの品質を大幅に向上させます。たとえば、標準の ResNet と畳み込みヘッドのみを使用した DAVIS16 ベンチマークでは、以前の方法を 8.3% 上回っています。将来の研究と応用のためにコードを公開する予定です。
We present IMAS, a method that segments the primary objects in videos without manual annotation in training or inference. Previous methods in unsupervised video object segmentation (UVOS) have demonstrated the effectiveness of motion as either input or supervision for segmentation. However, motion signals may be uninformative or even misleading in cases such as deformable objects and objects with reflections, causing unsatisfactory segmentation. In contrast, IMAS achieves Improved UVOS with Motion-Appearance Synergy. Our method has two training stages: 1) a motion-supervised object discovery stage that deals with motion-appearance conflicts through a learnable residual pathway; 2) a refinement stage with both low- and high-level appearance supervision to correct model misconceptions learned from misleading motion cues. Additionally, we propose motion-semantic alignment as a model-agnostic annotation-free hyperparam tuning method. We demonstrate its effectiveness in tuning critical hyperparams previously tuned with human annotation or hand-crafted hyperparam-specific metrics. IMAS greatly improves the segmentation quality on several common UVOS benchmarks. For example, we surpass previous methods by 8.3% on DAVIS16 benchmark with only standard ResNet and convolutional heads. We intend to release our code for future research and applications.