arXiv reaDer
Dynamic Resolution Network
深い畳み込みニューラル ネットワーク (CNN) は、精度の理由から、多くの畳み込み層と学習可能なパラメーターを備えた洗練された設計になっていることがよくあります。モバイルデバイスにそれらを展開するための高価なコストを軽減するために、最近の研究では、事前定義されたアーキテクチャの冗長性を掘り起こすために多大な努力が払われています。それにもかかわらず、最新の CNN の入力解像度の冗長性は完全には調査されていません。つまり、入力画像の解像度は固定されています。この論文では、同じニューラル ネットワークを使用して、与えられた画像を正確に予測するための最小解像度が異なることを観察しています。この目的のために、解像度が各入力サンプルに基づいて動的に決定される新しい動的解像度ネットワーク (DRNet) を提案します。したがって、計算コストが無視できる解像度予測子が調査され、目的のネットワークと共同で最適化されます。実際には、予測子は、各画像の元の認識精度を保持し、さらに超えることができる最小の解像度を学習します。推論中に、各入力画像は、全体的な計算負荷を最小限に抑えるために、予測された解像度にサイズ変更されます。次に、いくつかのベンチマーク ネットワークとデータセットで広範な実験を行います。結果は、私たちの DRNet を既製のネットワーク アーキテクチャに埋め込むことができ、計算の複雑さを大幅に削減できることを示しています。たとえば、DRNet は、ImageNet の元の ResNet-50 と比較して、約 34% の計算削減で同様のパフォーマンスを達成し、10% の計算削減で精度が 1.4% 向上します。
Deep convolutional neural networks (CNNs) are often of sophisticated design with numerous convolutional layers and learnable parameters for the accuracy reason. To alleviate the expensive costs of deploying them on mobile devices, recent works have made huge efforts for excavating redundancy in pre-defined architectures. Nevertheless, the redundancy on the input resolution of modern CNNs has not been fully investigated, i.e., the resolution of input image is fixed. In this paper, we observe that the smallest resolution for accurately predicting the given image is different using the same neural network. To this end, we propose a novel dynamic-resolution network (DRNet) in which the resolution is determined dynamically based on each input sample. Thus, a resolution predictor with negligible computational costs is explored and optimized jointly with the desired network. In practice, the predictor learns the smallest resolution that can retain and even exceed the original recognition accuracy for each image. During the inference, each input image will be resized to its predicted resolution for minimizing the overall computation burden. We then conduct extensive experiments on several benchmark networks and datasets. The results show that our DRNet can be embedded in any off-the-shelf network architecture to obtain a considerable reduction in computational complexity. For instance, DRNet achieves similar performance with an about 34% computation reduction, while gains 1.4% accuracy increase with 10% computation reduction compared to the original ResNet-50 on ImageNet.
updated: Sat Jun 05 2021 13:48:33 GMT+0000 (UTC)
published: Sat Jun 05 2021 13:48:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト