arXiv reaDer
ハングル フォント データセット: 学習した表現を調査するための階層的および構成的なデータセット
Hangul Fonts Dataset: a Hierarchical and Compositional Dataset for Investigating Learned Representations
階層と構成性は、多くの自然および科学データセットに共通の潜在的な特性です。深いネットワークの隠れた活性化が階層と構成性を表す時期を決定することは、深い表現学習を理解するためにも、解釈可能性が重要なドメインに深いネットワークを適用するためにも重要です。ただし、現在のベンチマーク機械学習データセットには、階層構造または構成構造がほとんどないか、構造が不明です。このギャップは、ネットワークの表現の正確な分析を妨げ、したがって、そのようなプロパティを学習できる新しい方法の開発を妨げます。このギャップに対処するために、既知の階層構造と構成構造を持つ新しいベンチマーク データセットを開発しました。ハングル フォント データセット (HFD) は、韓国の書記体系 (ハングル) の 35 のフォントで構成され、各フォントには、最初の子音、中央の母音、および最後の子音のグリフの積から構成される 11,172 のブロック (音節) があります。すべてのブロックは、ブロック間の階層を誘導するいくつかの幾何学的タイプにグループ化できます。さらに、各ブロックは、回転、平行移動、スケーリング、およびフォント全体の自然なスタイルの変化を伴う個々のグリフで構成されています。教師ありの深層ネットワークと比較して、浅いものと深い教師なしの方法の両方が、HFD の表現で階層と構成性の適度な証拠しか示さないことがわかりました。監視ありの深いネットワーク表現には、キャラクターの幾何学的階層に関連する構造が含まれていますが、データの構成構造は明らかではありません。したがって、HFD は、既存の方法の欠点の特定を可能にします。これは、自然主義的変動のコンテキストで階層構造および構成構造を抽出する新しい機械学習アルゴリズムを開発するための重要な最初のステップです。
Hierarchy and compositionality are common latent properties in many natural and scientific datasets. Determining when a deep network's hidden activations represent hierarchy and compositionality is important both for understanding deep representation learning and for applying deep networks in domains where interpretability is crucial. However, current benchmark machine learning datasets either have little hierarchical or compositional structure, or the structure is not known. This gap impedes precise analysis of a network's representations and thus hinders development of new methods that can learn such properties. To address this gap, we developed a new benchmark dataset with known hierarchical and compositional structure. The Hangul Fonts Dataset (HFD) is comprised of 35 fonts from the Korean writing system (Hangul), each with 11,172 blocks (syllables) composed from the product of initial consonant, medial vowel, and final consonant glyphs. All blocks can be grouped into a few geometric types which induces a hierarchy across blocks. In addition, each block is composed of individual glyphs with rotations, translations, scalings, and naturalistic style variation across fonts. We find that both shallow and deep unsupervised methods only show modest evidence of hierarchy and compositionality in their representations of the HFD compared to supervised deep networks. Supervised deep network representations contain structure related to the geometrical hierarchy of the characters, but the compositional structure of the data is not evident. Thus, HFD enables the identification of shortcomings in existing methods, a critical first step toward developing new machine learning algorithms to extract hierarchical and compositional structure in the context of naturalistic variability.
updated: Wed Jun 09 2021 17:13:10 GMT+0000 (UTC)
published: Thu May 23 2019 21:20:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト