arXiv reaDer
テキストに書かれていないこと:視覚信号からの空間常識の探求
Things not Written in Text: Exploring Spatial Commonsense from Visual Signals
空間的常識、オブジェクト間の空間的位置と関係(ライオンと女の子の相対的なサイズ、サイクリング時の自転車に対する男の子の位置など)に関する知識は、常識的な知識の重要な部分です。事前トレーニングされた言語モデル(PLM)は多くのNLPタスクで成功しますが、空間常識推論では効果がないことが示されています。画像はテキストよりも空間常識を示す可能性が高いという観察から始めて、視覚信号を含むモデルがテキストベースのPLMよりも空間常識を学習するかどうかを調査します。オブジェクトの相対的なスケール、およびさまざまなアクションの下での人とオブジェクト間の位置関係に焦点を当てた空間常識ベンチマークを提案します。このベンチマークで、PLMと視覚信号を使用したモデル(視覚言語の事前トレーニング済みモデルや画像合成モデルなど)を調査し、画像合成モデルが他のモデルよりも正確で一貫性のある空間知識を学習できることを確認しました。画像合成モデルからの空間知識は、空間常識を必要とする自然言語理解タスクにも役立ちます。
Spatial commonsense, the knowledge about spatial position and relationship between objects (like the relative size of a lion and a girl, and the position of a boy relative to a bicycle when cycling), is an important part of commonsense knowledge. Although pretrained language models (PLMs) succeed in many NLP tasks, they are shown to be ineffective in spatial commonsense reasoning. Starting from the observation that images are more likely to exhibit spatial commonsense than texts, we explore whether models with visual signals learn more spatial commonsense than text-based PLMs. We propose a spatial commonsense benchmark that focuses on the relative scales of objects, and the positional relationship between people and objects under different actions. We probe PLMs and models with visual signals, including vision-language pretrained models and image synthesis models, on this benchmark, and find that image synthesis models are more capable of learning accurate and consistent spatial knowledge than other models. The spatial knowledge from image synthesis models also helps in natural language understanding tasks that require spatial commonsense.
updated: Tue Mar 15 2022 17:02:30 GMT+0000 (UTC)
published: Tue Mar 15 2022 17:02:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト