arXiv reaDer
Integrating domain knowledge: using hierarchies to improve deep classifiers
 ディープラーニングの時代の機械学習で最も顕著な問題の1つは、十分に大きな注釈付きデータセットの可用性です。特定のドメイン、たとえば動物種の場合、ロングテール分布は、一部のクラスが十分に観察および注釈付けされていないことを意味します。追加のラベルは、法外に高価になる場合があります。ドメインの専門家が関与する必要があるためです。しかし、私たちの知識の限りでは、それに応じて利用されない情報がさらにあります。このペーパーでは、WordNetのような既存のクラス階層を使用して、追加のドメイン知識を分類に統合することを提案します。このようなクラス階層のプロパティを確率モデルにエンコードします。そこから、新しいラベルエンコーディングと対応する損失関数を導き出します。 ImageNetおよびNABirdsデータセットでは、この方法により、ベースラインよりもそれぞれ10.4%および9.6%の相対的な精度の向上が得られます。トレーニング時間の3分の1未満で、ベースラインのきめの細かい認識パフォーマンスと一致させることができます。両方の結果は、提案された方法が効率的かつ効果的であることを示しています。
One of the most prominent problems in machine learning in the age of deep learning is the availability of sufficiently large annotated datasets. For specific domains, e.g. animal species, a long-tail distribution means that some classes are observed and annotated insufficiently. Additional labels can be prohibitively expensive, e.g. because domain experts need to be involved. However, there is more information available that is to the best of our knowledge not exploited accordingly. In this paper, we propose to make use of preexisting class hierarchies like WordNet to integrate additional domain knowledge into classification. We encode the properties of such a class hierarchy into a probabilistic model. From there, we derive a novel label encoding and a corresponding loss function. On the ImageNet and NABirds datasets our method offers a relative improvement of 10.4% and 9.6% in accuracy over the baseline respectively. After less than a third of training time, it is already able to match the baseline's fine-grained recognition performance. Both results show that our suggested method is efficient and effective.
updated: Thu Jan 23 2020 16:27:23 GMT+0000 (UTC)
published: Sat Nov 17 2018 08:23:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト