テキスト ベースのビデオ セグメンテーションは、ビデオ内の自然言語で参照されるオブジェクトをセグメント化する困難なタスクです。基本的に、セマンティック理解ときめの細かいビデオ理解が必要です。既存の方法は、言語表現をボトムアップ方式でセグメンテーション モデルに導入します。これは、ConvNet のローカル受容野内で視覚と言語の相互作用を実行するだけです。このような相互作用は、自然言語/参照表現の記述論理に反して、部分的な観測を前提としてモデルが領域レベルの関係をほとんど構築できないため、満たされないと主張します。実際、人々は通常、他のオブジェクトとの関係を使用して対象オブジェクトを説明しますが、ビデオ全体を見ないと容易に理解できない場合があります。この問題に対処するために、言語ガイダンスを使用して人間がオブジェクトをセグメント化する方法を模倣することにより、新しいトップダウン アプローチを導入します。まず、ビデオ内のすべての候補オブジェクトを把握し、それらの高レベルのオブジェクト間の関係を解析して、参照されるオブジェクトを選択します。関係を正確に理解するために、位置関係、テキスト誘導の意味関係、時間関係の 3 種類のオブジェクト レベルの関係を調査します。 A2D センテンスと J-HMDB センテンスに関する広範な実験により、私たちの方法が最先端の方法よりも大幅に優れていることがわかります。定性的結果はまた、私たちの結果がより説明しやすいことを示しています。また、そのインスピレーションに基づき、CVPR2021参考Youtube-VOSチャレンジで1位を獲得。
Text-based video segmentation is a challenging task that segments out the natural language referred objects in videos. It essentially requires semantic comprehension and fine-grained video understanding. Existing methods introduce language representation into segmentation models in a bottom-up manner, which merely conducts vision-language interaction within local receptive fields of ConvNets. We argue that such interaction is not fulfilled since the model can barely construct region-level relationships given partial observations, which is contrary to the description logic of natural language/referring expressions. In fact, people usually describe a target object using relations with other objects, which may not be easily understood without seeing the whole video. To address the issue, we introduce a novel top-down approach by imitating how we human segment an object with the language guidance. We first figure out all candidate objects in videos and then choose the refereed one by parsing relations among those high-level objects. Three kinds of object-level relations are investigated for precise relationship understanding, i.e., positional relation, text-guided semantic relation, and temporal relation. Extensive experiments on A2D Sentences and J-HMDB Sentences show our method outperforms state-of-the-art methods by a large margin. Qualitative results also show our results are more explainable. Besides, based on the inspiration, we win the first place in CVPR2021 Referring Youtube-VOS challenge.