arXiv reaDer
多様化する視覚言語共同トークン化学習
Diversifying Joint Vision-Language Tokenization Learning
画像とテキストにわたる共同表現を構築することは、ビジュアル質問応答やビデオ質問応答などのタスクにとって不可欠なステップです。この研究では、表現が両方のモダリティからの特徴を共同で捉える必要があるだけでなく、汎化パフォーマンスを向上させるために多様である必要があることがわかりました。この目的を達成するために、我々は、トークン化学習プロセスを多様化し、相互に十分に絡み合っていないトークンを両方のモダリティから学習できるようにすることにより、共同視覚言語表現学習を提案します。私たちのアプローチは、ほとんどの設定でベースライン モデルを上回り、最先端の手法と競合できることがわかりました。
Building joint representations across images and text is an essential step for tasks such as Visual Question Answering and Video Question Answering. In this work, we find that the representations must not only jointly capture features from both modalities but should also be diverse for better generalization performance. To this end, we propose joint vision-language representation learning by diversifying the tokenization learning process, enabling tokens that are sufficiently disentangled from each other to be learned from both modalities. We observe that our approach outperforms the baseline models in a majority of settings and is competitive with state-of-the-art methods.
updated: Thu Jun 15 2023 20:43:45 GMT+0000 (UTC)
published: Tue Jun 06 2023 05:41:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト