この作業では、マルチモーダルBERTモデルの埋め込みで学習した知識を調査します。より具体的には、言語データの文法構造とオブジェクトを介して学習した構造を視覚データに格納する機能を調査します。その目標を達成するために、まず、画像を説明する文の依存関係解析と画像内のオブジェクト領域間の依存関係によって、言語と視覚の固有の構造を明示的にします。この明示的な視覚的構造をシーンツリーと呼びます。これは、言語記述の依存関係ツリーに基づいています。広範なプロービング実験により、マルチモーダルBERTモデルはこれらのシーンツリーをエンコードしないことが示されています。コードはhttps://github.com/VSJMilewski/multimodal-probesで入手できます。
In this work, we investigate the knowledge learned in the embeddings of multimodal-BERT models. More specifically, we probe their capabilities of storing the grammatical structure of linguistic data and the structure learned over objects in visual data. To reach that goal, we first make the inherent structure of language and visuals explicit by a dependency parse of the sentences that describe the image and by the dependencies between the object regions in the image, respectively. We call this explicit visual structure the scene tree, that is based on the dependency tree of the language description. Extensive probing experiments show that the multimodal-BERT models do not encode these scene trees.Code available at https://github.com/VSJMilewski/multimodal-probes.