arXiv reaDer
絵画について説明してください:マルチトピックの知識豊富なアートの説明の生成
Explain Me the Painting: Multi-Topic Knowledgeable Art Description Generation
あなたは絵を見て、その背後にある物語は何であるか疑問に思ったことはありますか?この作品は、ファインアート絵画の包括的な説明を生成することにより、アートを人々に近づけるためのフレームワークを提示します。ただし、アートワークの有益な説明を生成することは、1)画像のスタイル、コンテンツ、構成などの画像の複数の側面を説明し、2)アーティスト、その影響、または歴史的な期間。これらの課題に対処するために、マルチトピックで知識豊富なアート記述フレームワークを導入します。これは、生成された文を3つの芸術トピックに従ってモジュール化し、さらに、外部の知識で各記述を強化します。フレームワークは、定量的および定性的の両方の徹底的な分析、および比較人間評価を通じて検証され、トピックの多様性と情報の信憑性の両方の点で優れた結果を示しています。
Have you ever looked at a painting and wondered what is the story behind it? This work presents a framework to bring art closer to people by generating comprehensive descriptions of fine-art paintings. Generating informative descriptions for artworks, however, is extremely challenging, as it requires to 1) describe multiple aspects of the image such as its style, content, or composition, and 2) provide background and contextual knowledge about the artist, their influences, or the historical period. To address these challenges, we introduce a multi-topic and knowledgeable art description framework, which modules the generated sentences according to three artistic topics and, additionally, enhances each description with external knowledge. The framework is validated through an exhaustive analysis, both quantitative and qualitative, as well as a comparative human evaluation, demonstrating outstanding results in terms of both topic diversity and information veracity.
updated: Mon Sep 13 2021 07:08:46 GMT+0000 (UTC)
published: Mon Sep 13 2021 07:08:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト