知識を学ぶ上で復習は重要な役割を果たします。特定の時点での知識の獲得は、以前の経験の助けを借りて強くインスピレーションを受ける場合があります。したがって、知識の成長手順は、時間的次元に沿って強い関係を示すはずです。私たちの研究では、ネットワークトレーニング中に、特徴マップの進化が時間的シーケンス特性に従っていることがわかりました。適切な時間的監視により、ネットワーク トレーニングのパフォーマンスがさらに向上する可能性があります。この観察に触発されて、私たちは時間教師あり知識蒸留 (TSKD) を提案します。具体的には、畳み込み長短期記憶ネットワーク (Conv-LSTM) により、生徒のさまざまなトレーニング段階における時空間特徴を抽出します。次に、静的な教師ネットワーク機能ではなく、動的なターゲットを通じて生徒ネットをトレーニングします。このプロセスにより、学生ネットワーク内の古い知識が洗練され、現在の学習を支援するために利用されます。広範な実験により、さまざまなネットワーク アーキテクチャやさまざまなタスク (画像分類や物体検出) など、既存の知識蒸留方法と比較したこの方法の有効性と利点が検証されています。
Reviewing plays an important role when learning knowledge. The knowledge acquisition at a certain time point may be strongly inspired with the help of previous experience. Thus the knowledge growing procedure should show strong relationship along the temporal dimension. In our research, we find that during the network training, the evolution of feature map follows temporal sequence property. A proper temporal supervision may further improve the network training performance. Inspired by this observation, we propose Temporal Supervised Knowledge Distillation (TSKD). Specifically, we extract the spatiotemporal features in the different training phases of student by convolutional Long Short-term memory network (Conv-LSTM). Then, we train the student net through a dynamic target, rather than static teacher network features. This process realizes the refinement of old knowledge in student network, and utilizes it to assist current learning. Extensive experiments verify the effectiveness and advantages of our method over existing knowledge distillation methods, including various network architectures and different tasks (image classification and object detection) .