arXiv reaDer
Object Retrieval and Localization in Large Art Collections using Deep Multi-Style Feature Fusion and Iterative Voting
特定のオブジェクトやモチーフの検索は、どちらもアートワークの意味を解読するのに役立つため、美術史にとって不可欠です。デジタル化によって大量のアートコレクションが作成されましたが、手動による方法ではそれらを分析するには不十分であることがわかりました。以下では、ユーザーが特定のモチーフやオブジェクトを含む画像領域を検索し、広範なデータセット内で類似の領域を見つけて、美術史家が大規模なデジタル化されたアートコレクションを分析できるようにするアルゴリズムを紹介します。コンピュータビジョンは、写真全体で視覚的なインスタンスを取得するための効率的な方法を提示しています。しかし、アートコレクションに適用すると、技法、素材、スタイルの違いによって引き起こされる多様なモチーフと大規模なドメインシフトのために、深刻な欠陥が明らかになります。このホワイトペーパーでは、ドメインギャップを削減し、ラベル付きデータやキュレーションされた画像コレクションなしで検索結果を改善するマルチスタイルの機能融合アプローチを紹介します。 GPUで高速化された近似最近傍検索を使用した地域ベースの投票により、広範なデータセット内の小さなモチーフでも数秒で検索してローカライズできます。ブリューゲルデータセットで最先端の結果を取得し、多数のディストラクタを含む不均一なコレクションへの一般化を示します。
The search for specific objects or motifs is essential to art history as both assist in decoding the meaning of artworks. Digitization has produced large art collections, but manual methods prove to be insufficient to analyze them. In the following, we introduce an algorithm that allows users to search for image regions containing specific motifs or objects and find similar regions in an extensive dataset, helping art historians to analyze large digitized art collections. Computer vision has presented efficient methods for visual instance retrieval across photographs. However, applied to art collections, they reveal severe deficiencies because of diverse motifs and massive domain shifts induced by differences in techniques, materials, and styles. In this paper, we present a multi-style feature fusion approach that successfully reduces the domain gap and improves retrieval results without labelled data or curated image collections. Our region-based voting with GPU-accelerated approximate nearest-neighbour search allows us to find and localize even small motifs within an extensive dataset in a few seconds. We obtain state-of-the-art results on the Brueghel dataset and demonstrate its generalization to inhomogeneous collections with a large number of distractors.
updated: Wed Jul 14 2021 18:40:49 GMT+0000 (UTC)
published: Wed Jul 14 2021 18:40:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト