arXiv reaDer
層間ネットワーク トレーニングと深層畳み込みニューラル ネットワークを使用した従来のネットワーク トレーニングの比較
Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks
タイトル: 深層畳み込みニューラル ネットワークを使用したレイヤーツーレイヤー ネットワーク トレーニングと従来のネットワーク トレーニングの比較 要約: 畳み込みニューラル ネットワーク (CNN) は、データから特徴を抽出する際の有効性により、さまざまなアプリケーションで広く使用されています。ただし、CNN のパフォーマンスは、そのアーキテクチャとトレーニング プロセスに大きく依存します。本研究では、階層間学習手法を提案し、その性能を従来の学習手法と比較する。レイヤーツーレイヤーのトレーニング アプローチでは、初期のレイヤーの一部を生徒ネットワークとして扱い、後のレイヤーを教師ネットワークとして扱います。各トレーニング ステップ中に、教師ネットワークの出力から学習するように生徒ネットワークを段階的にトレーニングし、その逆も同様です。事前トレーニング済みの ImageNet 重みと通常の CNN モデルを使用せずに、VGG16、ResNext、および DenseNet ネットワークでこのアプローチを評価します。私たちの実験では、どちらのモデルでも、レイヤー間トレーニング方法が従来のトレーニング方法よりも優れていることが示されています。具体的には、VGG16、ResNext、および DeseNet ネットワークのテスト セットと、レイヤー間トレーニングを使用した CNN モデルで、従来のトレーニング方法と比較して高い精度を達成しました。全体として、私たちの研究は CNN におけるレイヤーごとのトレーニングの重要性を強調しており、レイヤーツーレイヤー トレーニングが CNN の精度を向上させるための有望なアプローチとなり得ることを示唆しています。
Title: Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks Abstract: Convolutional neural networks (CNNs) are widely used in various applications due to their effectiveness in extracting features from data. However, the performance of a CNN heavily depends on its architecture and training process. In this study, we propose a layer-to-layer training method and compare its performance with the conventional training method. In the layer-to-layer training approach, we treat a portion of the early layers as a student network and the later layers as a teacher network. During each training step, we incrementally train the student network to learn from the output of the teacher network, and vice versa. We evaluate this approach on VGG16, ResNext, and DenseNet networks without pre-trained ImageNet weights and a regular CNN model. Our experiments show that the layer-to-layer training method outperforms the conventional training method for both models. Specifically, we achieve higher accuracy on the test set for the VGG16, ResNext, and DeseNet networks and the CNN model using layer-to-layer training compared to the conventional training method. Overall, our study highlights the importance of layer-wise training in CNNs and suggests that layer-to-layer training can be a promising approach for improving the accuracy of CNNs.
updated: Thu May 11 2023 03:38:10 GMT+0000 (UTC)
published: Mon Mar 27 2023 14:29:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト