ファインアートの絵画やデッサンなどの「作成された」画像に描かれたオブジェクトの連想と単純な意味を学習する問題に対処するために、深いネットワークに基づく新しいバイモーダルシステムを提示します。私たちの全体的なシステムは、個々のオブジェクトの画像、それらのアイデンティティ、およびそれらが意味する抽象的な意味の間の関連を学習するために、画像と関連するテキストの両方を処理します。描かれたオブジェクトを記述し、述語を推測する過去のディープネットとは異なり、私たちのシステムは、意味を持つオブジェクト(「シニフィアン」)とそれらの関連付け(「シニフィアン」)、およびターゲットアートワークの基本的な全体的な意味を識別します。私たちのシステムの精度は48%、再現率は78%で、F1メトリックは0.6で、オランダのヴァニタス絵画のキュレーションされたセットで、実行時に大きな重要性の意味を伝えることに集中したことで有名なジャンルです。私たちはファインアート絵画でシステムを開発してテストしましたが、私たちの一般的な方法は他の作成された画像に適用できます。
We present a novel bi-modal system based on deep networks to address the problem of learning associations and simple meanings of objects depicted in "authored" images, such as fine art paintings and drawings. Our overall system processes both the images and associated texts in order to learn associations between images of individual objects, their identities and the abstract meanings they signify. Unlike past deep nets that describe depicted objects and infer predicates, our system identifies meaning-bearing objects ("signifiers") and their associations ("signifieds") as well as basic overall meanings for target artworks. Our system had precision of 48% and recall of 78% with an F1 metric of 0.6 on a curated set of Dutch vanitas paintings, a genre celebrated for its concentration on conveying a meaning of great import at the time of their execution. We developed and tested our system on fine art paintings but our general methods can be applied to other authored images.