arXiv reaDer
FODVid: ビデオ内のフローガイドによるオブジェクト検出
FODVid: Flow-guided Object Discovery in Videos
ビデオ内のオブジェクトのセグメンテーションは、モーション ブラー、視差、オクルージョン、照明の変化などのニュアンスがあるため、困難です。これらのニュアンスに個別に対処するのではなく、個々の複雑さへの過剰適合を回避する一般化可能なソリューションを構築することに重点を置いています。このようなソリューションは、ビデオ コーパスへの人による注釈に関わる膨大なリソースを節約するのにも役立ちます。教師なし設定でビデオ オブジェクト セグメンテーション (VOS) を解決するために、フロー ガイド付きグラフカットと時間的一貫性を使用してセグメンテーション出力をガイドするというアイデアに基づいた新しいパイプライン (FODVid) を提案します。基本的に、フレーム内の外観とフローの類似性、および検討中のオブジェクトのフレーム間の時間的連続性を組み込んだセグメンテーション モデルを設計します。標準的な DAVIS16 ビデオ ベンチマークで、簡単な方法論の広範な実験分析を実行します。シンプルではありますが、私たちのアプローチは、教師なし VOS における既存の上位アプローチと同等の結果 (約 2 mIoU の範囲内) を生成します。私たちの技術のシンプルさと有効性により、ビデオ領域の研究に新たな道が開かれます。
Segmentation of objects in a video is challenging due to the nuances such as motion blurring, parallax, occlusions, changes in illumination, etc. Instead of addressing these nuances separately, we focus on building a generalizable solution that avoids overfitting to the individual intricacies. Such a solution would also help us save enormous resources involved in human annotation of video corpora. To solve Video Object Segmentation (VOS) in an unsupervised setting, we propose a new pipeline (FODVid) based on the idea of guiding segmentation outputs using flow-guided graph-cut and temporal consistency. Basically, we design a segmentation model incorporating intra-frame appearance and flow similarities, and inter-frame temporal continuation of the objects under consideration. We perform an extensive experimental analysis of our straightforward methodology on the standard DAVIS16 video benchmark. Though simple, our approach produces results comparable (within a range of ~2 mIoU) to the existing top approaches in unsupervised VOS. The simplicity and effectiveness of our technique opens up new avenues for research in the video domain.
updated: Mon Jul 10 2023 07:55:42 GMT+0000 (UTC)
published: Mon Jul 10 2023 07:55:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト