arXiv reaDer
Non-discriminative data or weak model? On the relative importance of data and model resolution
  隠れ層の解像度(「内部解像度」)と比較した場合、入力画像の解像度(「入力解像度」)がニューラルネットワークのパフォーマンスにどのように影響するかという問題を探ります。これらの特性の調整は、モデルのパフォーマンスと精度のトレードオフを提供するハイパーパラメーターとして頻繁に使用されます。直感的な解釈では、低解像度入力の情報コンテンツが減少すると、精度が低下します。このホワイトペーパーでは、ある程度までは、入力解像度のみがネットワークパフォーマンスにほとんど影響を与えず、モデル品質の重要な要因は内部解像度であることを示しています。次に、これらの洞察に基づいて、\ emph {Isometric Neural Networksと呼ばれる新しいニューラルネットワークアーキテクチャを開発します。これらのモデルは、深さ全体にわたって固定内部解像度を維持します。アクティベーションフットプリントとパラメーター数が少ない高精度モデルにつながることを実証します。
We explore the question of how the resolution of the input image ("input resolution") affects the performance of a neural network when compared to the resolution of the hidden layers ("internal resolution"). Adjusting these characteristics is frequently used as a hyperparameter providing a trade-off between model performance and accuracy. An intuitive interpretation is that the reduced information content in the low-resolution input causes decay in the accuracy. In this paper, we show that up to a point, the input resolution alone plays little role in the network performance, and it is the internal resolution that is the critical driver of model quality. We then build on these insights to develop novel neural network architectures that we call \emph{Isometric Neural Networks. These models maintain a fixed internal resolution throughout their entire depth. We demonstrate that they lead to high accuracy models with low activation footprint and parameter count.
updated: Thu Oct 17 2019 23:13:32 GMT+0000 (UTC)
published: Sat Sep 07 2019 07:19:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト