arXiv reaDer
TKD: Temporal Knowledge Distillation for Active Perception
 ディープニューラルネットワークベースの方法は、オブジェクト検出および分類タスクで優れたパフォーマンスを達成することが証明されています。構造が深いため、パフォーマンスが大幅に向上しますが、画像を処理し、リアルタイムアプリケーションで可能な限り最高のパフォーマンスを維持するには、依然として非常に長いランタイムが必要です。人間の視覚システム(HVS)が視覚入力からのフレーム間の時間依存に大きく依存して認識を効率的に行う現象を観察して、TKDと呼ばれる新しいフレームワークを提案します:時間知識の蒸留。このフレームワークは、選択されたビデオフレーム(瞬間の知覚)に基づく重いニューラルネットワークベースのモデルから、軽量モデルへの時間的知識を抽出します。蒸留を可能にするため、2つの新しい手順を提案しました。1)Long-Short Term Memory(LSTM)ベースのキーフレーム選択方法。および2)新しい教師限定の損失設計。検証するために、YouTubeオブジェクトやハリウッドシーンデータセットを含む複数のデータセットに対して、異なるオブジェクト検出方法を使用して包括的な経験的評価を実施しています。私たちの結果は、他の最新のオブジェクト認識方法と比較して、動的シーンのフレームにわたるオブジェクト検出の精度と速度のトレードオフの一貫した改善を示しています。
Deep neural networks based methods have been proved to achieve outstanding performance on object detection and classification tasks. Despite significant performance improvement, due to the deep structures, they still require prohibitive runtime to process images and maintain the highest possible performance for real-time applications. Observing the phenomenon that human vision system (HVS) relies heavily on the temporal dependencies among frames from the visual input to conduct recognition efficiently, we propose a novel framework dubbed as TKD: temporal knowledge distillation. This framework distills the temporal knowledge from a heavy neural networks based model over selected video frames (the perception of the moments) to a light-weight model. To enable the distillation, we put forward two novel procedures: 1) an Long-short Term Memory (LSTM) based key frame selection method; and 2) a novel teacher-bounded loss design. To validate, we conduct comprehensive empirical evaluations using different object detection methods over multiple datasets including Youtube-Objects and Hollywood scene dataset. Our results show consistent improvement in accuracy-speed trad-offs for object detection over the frames of the dynamic scene, compare to other modern object recognition methods.
updated: Mon Jan 06 2020 22:34:42 GMT+0000 (UTC)
published: Mon Mar 04 2019 20:15:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト