arXiv reaDer
Resource Efficient 3D Convolutional Neural Networks
最近、3Dカーネル(3D CNN)を使用した畳み込みニューラルネットワークは、2D CNNと比較して、ビデオフレーム内の時空間特徴を抽出する優れた能力の結果として、コンピュータービジョンコミュニティで非常に人気があります。最近、メモリと電力バジェットを考慮してリソース効率の高い2D CNNアーキテクチャを構築するための大きな進歩がありましたが、3DCNN用の同様のリソース効率の高いアーキテクチャはほとんどありません。このホワイトペーパーでは、さまざまなリソース効率の高い2DCNNを3DCNNに変換し、さまざまな複雑さレベルの分類精度の観点から、3つの主要なベンチマークでそれらのパフォーマンスを評価しました。 (1)Kinetics-600データセットを使用して学習能力を検査し、(2)Jesterデータセットを使用してモーションパターンをキャプチャする能力を検査し、(3)UCF-101を使用して転移学習の適用性を検査しました。単一のTitanXPGPUとJetsonTX2組み込みシステムでの各モデルの実行時パフォーマンスを評価しました。この調査の結果は、これらのモデルがかなりの精度とメモリ使用量でリアルタイムのパフォーマンスを提供するため、さまざまなタイプの実際のアプリケーションに利用できることを示しています。さまざまな複雑さのレベルに関する分析では、複雑さを軽減するために、リソース効率の高い3DCNNを浅すぎたり狭すぎたりしないように設計する必要があることが示されています。この作業で使用されるコードと事前トレーニング済みモデルは公開されています。
Recently, convolutional neural networks with 3D kernels (3D CNNs) have been very popular in computer vision community as a result of their superior ability of extracting spatio-temporal features within video frames compared to 2D CNNs. Although there has been great advances recently to build resource efficient 2D CNN architectures considering memory and power budget, there is hardly any similar resource efficient architectures for 3D CNNs. In this paper, we have converted various well-known resource efficient 2D CNNs to 3D CNNs and evaluated their performance on three major benchmarks in terms of classification accuracy for different complexity levels. We have experimented on (1) Kinetics-600 dataset to inspect their capacity to learn, (2) Jester dataset to inspect their ability to capture motion patterns, and (3) UCF-101 to inspect the applicability of transfer learning. We have evaluated the run-time performance of each model on a single Titan XP GPU and a Jetson TX2 embedded system. The results of this study show that these models can be utilized for different types of real-world applications since they provide real-time performance with considerable accuracies and memory usage. Our analysis on different complexity levels shows that the resource efficient 3D CNNs should not be designed too shallow or narrow in order to save complexity. The codes and pretrained models used in this work are publicly available.
updated: Mon Oct 18 2021 09:43:53 GMT+0000 (UTC)
published: Thu Apr 04 2019 09:19:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト