arXiv reaDer
画像解像度への応用を伴うニューラルネットワークにおける問題依存の注意と努力
Problem-dependent attention and effort in neural networks with an application to image resolution
この論文では、人間と動物が問題の難しさに応じて注意と努力のレベルを変えるという生物学的現象に触発された、新しいニューラルネットワークベースの推定アプローチを紹介します。提案されたアプローチは、代替モデルの独自の予測における内部レベルの信頼性を活用します。最もコストのかからないモデルがその分類に自信を持っている場合、それが使用される分類です。そうでない場合は、実装コストが次に低いモデルが実行されます。連続してより複雑なモデルを使用することで、モデルの内部傾向スコアを使用して正しい可能性を評価することで、分類精度の高い基準を維持しながら、リソースの使用を大幅に削減できます。このアプローチは、高解像度バージョンと低解像度バージョンの数字画像でトレーニングされた多層パーセプトロン(MLP)ニューラルネットワークを使用して、GoogleのStreet View HouseNumbersデータセットからの数字認識問題に適用されます。アルゴリズムは最初に低解像度の画像を調べ、最初の低解像度のパスからの分類に高い信頼性がない場合にのみ、より高い解像度の画像に移動します。ここで検討するMLPの場合、この順次アプローチにより、分類の精度を犠牲にすることなく、リソース使用量を50%以上削減できます。
This paper introduces a new neural network-based estimation approach that is inspired by the biological phenomenon whereby humans and animals vary the levels of attention and effort that they dedicate to a problem depending upon its difficulty. The proposed approach leverages alternate models' internal levels of confidence in their own projections. If the least costly model is confident in its classification, then that is the classification used; if not, the model with the next lowest cost of implementation is run, and so on. This use of successively more complex models -- together with the models' internal propensity scores to evaluate their likelihood of being correct -- makes it possible to substantially reduce resource use while maintaining high standards for classification accuracy. The approach is applied to the digit recognition problem from Google's Street View House Numbers dataset, using Multilayer Perceptron (MLP) neural networks trained on high- and low-resolution versions of the digit images. The algorithm examines the low-resolution images first, only moving to higher resolution images if the classification from the initial low-resolution pass does not have a high degree of confidence. For the MLPs considered here, this sequential approach enables a reduction in resource usage of more than 50% without any sacrifice in classification accuracy.
updated: Wed Jan 05 2022 02:27:35 GMT+0000 (UTC)
published: Wed Jan 05 2022 02:27:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト