画像分類タスクでは、最も一般的なアプローチは、データセット内のすべての画像のサイズを一意の形状に変更し、その精度を大規模な実験を容易にするサイズに下げることです。この方法には計算の観点からの利点がありますが、情報の損失と画像の変形によるパフォーマンスへの悪影響が伴います。この作品では、MAMeデータセットを紹介します。これは、優れた高解像度と可変形状のプロパティを備えた画像分類データセットです。 MAMeの目標は、このような特性が画像分類に与える影響を研究するためのツールを提供すると同時に、この分野での研究の動機付けを行うことです。 MAMeデータセットには、3つの異なる美術館からの何千ものアートワークが含まれており、アートの専門家が監督する29の媒体(つまり、材料と技術)を区別することからなる分類タスクを提案しています。現在の画像分類タスクのコンテキストでMAMeの特異点を確認した後、データセット統計とともにタスクの完全な説明が提供されます。高解像度画像、可変形状入力、および両方のプロパティを同時に使用した場合の影響を評価するための実験が行われます。結果は、高解像度の画像を使用した場合のパフォーマンスへのプラスの影響を示していますが、さまざまな形状を活用するためのソリューションがないことを強調しています。追加の実験により、MAMeデータセットと典型的なImageNetデータセットの違いが明らかになりました。最後に、ベースラインは、説明可能性の方法と専門家の知識を使用して検査され、今後の課題に関する洞察を得ます。
In the image classification task, the most common approach is to resize all images in a dataset to a unique shape, while reducing their precision to a size which facilitates experimentation at scale. This practice has benefits from a computational perspective, but it entails negative side-effects on performance due to loss of information and image deformation. In this work we introduce the MAMe dataset, an image classification dataset with remarkable high resolution and variable shape properties. The goal of MAMe is to provide a tool for studying the impact of such properties in image classification, while motivating research in the field. The MAMe dataset contains thousands of artworks from three different museums, and proposes a classification task consisting on differentiating between 29 mediums (i.e. materials and techniques) supervised by art experts. After reviewing the singularity of MAMe in the context of current image classification tasks, a thorough description of the task is provided, together with dataset statistics. Experiments are conducted to evaluate the impact of using high resolution images, variable shape inputs and both properties at the same time. Results illustrate the positive impact in performance when using high resolution images, while highlighting the lack of solutions to exploit variable shapes. An additional experiment exposes the distinctiveness between the MAMe dataset and the prototypical ImageNet dataset. Finally, the baselines are inspected using explainability methods and expert knowledge, to gain insights on the challenges that remain ahead.