arXiv reaDer
Tree-CNN: A Hierarchical Deep Convolutional Neural Network for Incremental Learning
  過去10年間、Deep Convolutional Neural Networks(DCNN)は、ほとんどのコンピュータービジョンタスクで顕著なパフォーマンスを示してきました。これらのタスクは伝統的に固定データセットを使用し、モデルは訓練されるとそのまま展開されます。このようなモデルに新しい情報を追加すると、「壊滅的な忘却」などの複雑なトレーニングの問題や、ハイパーパラメーターの調整に対する感度のために課題が生じます。しかし、この現代の世界ではデータは絶えず進化しており、これらの変化に適応するにはディープラーニングモデルが必要です。この論文では、DCNNで構成される適応型階層ネットワーク構造を提案します。これは、新しいデータが利用可能になると成長および学習できます。ネットワークはツリーのような形で成長し、新しいクラスのデータに対応しながら、以前にトレーニングしたクラスを区別する機能を保持します。ネットワークは、増分的に利用可能なデータを機能駆動型のスーパークラスに編成し、自己成長機能を追加することにより、既存の階層型CNNモデルを改善します。提案された階層モデルは、深いネットワークの微調整と比較した場合、CIFAR-10およびCIFAR-100で競争力のある精度を維持しながら、トレーニングの労力を大幅に削減します。
Over the past decade, Deep Convolutional Neural Networks (DCNNs) have shown remarkable performance in most computer vision tasks. These tasks traditionally use a fixed dataset, and the model, once trained, is deployed as is. Adding new information to such a model presents a challenge due to complex training issues, such as "catastrophic forgetting", and sensitivity to hyper-parameter tuning. However, in this modern world, data is constantly evolving, and our deep learning models are required to adapt to these changes. In this paper, we propose an adaptive hierarchical network structure composed of DCNNs that can grow and learn as new data becomes available. The network grows in a tree-like fashion to accommodate new classes of data, while preserving the ability to distinguish the previously trained classes. The network organizes the incrementally available data into feature-driven super-classes and improves upon existing hierarchical CNN models by adding the capability of self-growth. The proposed hierarchical model, when compared against fine-tuning a deep network, achieves significant reduction of training effort, while maintaining competitive accuracy on CIFAR-10 and CIFAR-100.
updated: Sun Sep 08 2019 15:58:05 GMT+0000 (UTC)
published: Thu Feb 15 2018 23:36:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト