注釈付きデータは、教師あり機械学習手法を適用するための要件であり、注釈の品質は結果にとって重要です。特に、さまざまな不確実性を内包する文化遺産のコレクションを扱う場合、データに注釈を付ける作業は依然として手作業であり、ドメインの専門家が行うのは困難な作業です。私たちのプロジェクトは、すでに注釈が付けられた 2 つの中世の写本画像セットから始まりましたが、これらは不完全であり、学術的および言語的な違いに基づく矛盾するメタデータで構成されていました。私たちの目的は、(1) 結合されたデータ セットの説明的なラベルの統一セット、および (2) 教師あり機械学習の貴重な入力として使用できる高品質の階層分類を作成することでした。これらの目標を達成するために、ビジュアル分析システムを開発して、中世主義者がこれらのデータセットを記述するために使用される語彙を組み合わせ、正規化し、拡張できるようにしました。単語と画像の埋め込み、およびデータセット全体での注釈の共起のための視覚的インターフェイスにより、同時に複数の画像に注釈を付けることができ、注釈ラベルの候補を推奨し、ラベルの階層分類の構成をサポートします。私たちのシステム自体は、中世主義者のフィードバックに基づいて視覚的表現を更新し、一連の使用シナリオがターゲットコミュニティにとっての価値を文書化するため、半教師あり方法を実装しています。
Annotated data is a requirement for applying supervised machine learning methods, and the quality of annotations is crucial for the result. Especially when working with cultural heritage collections that inhere a manifold of uncertainties, annotating data remains a manual, arduous task to be carried out by domain experts. Our project started with two already annotated sets of medieval manuscript images which however were incomplete and comprised conflicting metadata based on scholarly and linguistic differences. Our aims were to create (1) a uniform set of descriptive labels for the combined data set, and (2) a hierarchical classification of a high quality that can be used as a valuable input for supervised machine learning. To reach these goals, we developed a visual analytics system to enable medievalists to combine, regularize and extend the vocabulary used to describe these data sets. Visual interfaces for word and image embeddings as well as co-occurrences of the annotations across the data sets enable annotating multiple images at the same time, recommend annotation label candidates and support composing a hierarchical classification of labels. Our system itself implements a semi-supervised method as it updates visual representations based on the medievalists' feedback, and a series of usage scenarios document its value for the target community.