arXiv reaDer
ビデオシーングラフ生成のためのメタ時空間デバイアス
Meta Spatio-Temporal Debiasing for Video Scene Graph Generation
ビデオシーングラフ生成(VidSGG)は、ビデオコンテンツをシーングラフに解析することを目的としています。これには、ビデオ内の時空間コンテキスト情報のモデリングが含まれます。ただし、データセットのロングテールトレーニングデータにより、既存のVidSGGモデルの一般化パフォーマンスは、時空間条件付きバイアス問題の影響を受ける可能性があります。この作業では、メタ学習の観点から、このようなバイアスの問題に対処するための新しいメタビデオシーングラフ生成(MVSGG)フレームワークを提案します。具体的には、さまざまなタイプの時空間条件付きバイアスを処理するために、フレームワークは最初にトレーニングデータからサポートセットとクエリセットのグループを構築します。各クエリセットのデータ分布は、タイプのサポートセットのデータ分布とは異なります。条件付きバイアスの。次に、新しいメタトレーニングとテストプロセスを実行してモデルを最適化し、サポートセットでトレーニングした後、これらのクエリセットで良好なテストパフォーマンスを取得することで、フレームワークはモデルを効果的にガイドして、バイアスに対して十分に一般化することを学習できます。広範な実験により、提案されたフレームワークの有効性が実証されています。
Video scene graph generation (VidSGG) aims to parse the video content into scene graphs, which involves modeling the spatio-temporal contextual information in the video. However, due to the long-tailed training data in datasets, the generalization performance of existing VidSGG models can be affected by the spatio-temporal conditional bias problem. In this work, from the perspective of meta-learning, we propose a novel Meta Video Scene Graph Generation (MVSGG) framework to address such a bias problem. Specifically, to handle various types of spatio-temporal conditional biases, our framework first constructs a support set and a group of query sets from the training data, where the data distribution of each query set is different from that of the support set w.r.t. a type of conditional bias. Then, by performing a novel meta training and testing process to optimize the model to obtain good testing performance on these query sets after training on the support set, our framework can effectively guide the model to learn to well generalize against biases. Extensive experiments demonstrate the efficacy of our proposed framework.
updated: Sat Jul 23 2022 07:06:06 GMT+0000 (UTC)
published: Sat Jul 23 2022 07:06:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト