arXiv reaDer
畳み込みニューラル ネットワークを使用したレイヤー間ネットワーク トレーニングと従来のネットワーク トレーニングの比較
Comparison between layer-to-layer network training and conventional network training using Convolutional Neural Networks
タイトル: 畳み込みニューラル ネットワークを使用したレイヤー間のネットワーク トレーニングと従来のネットワーク トレーニングの比較 要約: 畳み込みニューラル ネットワーク (CNN) は、データから特徴を抽出する効率が高いため、さまざまなアプリケーションで広く使用されています。ただし、CNN のパフォーマンスは、そのアーキテクチャとトレーニング プロセスに大きく依存します。本研究では、層から層へのトレーニング方法を提案し、そのパフォーマンスを従来のトレーニング方法と比較します。層から層へのトレーニング アプローチでは、初期の層の一部を生徒のネットワークとして扱い、後の層を教師のネットワークとして扱います。各トレーニング ステップで、教師ネットワークの出力から学習するように生徒ネットワークを段階的にトレーニングし、その逆も行います。事前トレーニング済みの ImageNet 重みと通常の CNN モデルを使用せずに、VGG16 ネットワークでこのアプローチを評価します。私たちの実験は、レイヤー間のトレーニング方法が、両方のモデルの従来のトレーニング方法よりも優れていることを示しています。具体的には、従来のトレーニング方法と比較して、レイヤー間トレーニングを使用して、VGG16 ネットワークと CNN モデルのテスト セットでより高い精度を実現します。全体として、私たちの研究は、CNN におけるレイヤー単位のトレーニングの重要性を強調し、レイヤー間トレーニングが CNN の精度を改善するための有望なアプローチになり得ることを示唆しています。
Title: Comparison between layer-to-layer network training and conventional network training using Convolutional Neural Networks Abstract: Convolutional neural networks (CNNs) are widely used in various applications due to their effectiveness in extracting features from data. However, the performance of a CNN heavily depends on its architecture and training process. In this study, we propose a layer-to-layer training method and compare its performance with the conventional training method. In the layer-to-layer training approach, we treat a portion of the early layers as a student network and the later layers as a teacher network. During each training step, we incrementally train the student network to learn from the output of the teacher network, and vice versa. We evaluate this approach on a VGG16 network without pre-trained ImageNet weights and a regular CNN model. Our experiments show that the layer-to-layer training method outperforms the conventional training method for both models. Specifically, we achieve higher accuracy on the test set for the VGG16 network and the CNN model using layer-to-layer training compared to the conventional training method. Overall, our study highlights the importance of layer-wise training in CNNs and suggests that layer-to-layer training can be a promising approach for improving the accuracy of CNNs.
updated: Mon Mar 27 2023 14:29:18 GMT+0000 (UTC)
published: Mon Mar 27 2023 14:29:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト