畳み込みニューラルネットが近年コンピュータービジョンに革命をもたらしたすべての方法で、1つの重要な側面は、驚くほどほとんど注目されていません。それは、トレーニング対象のタスクの精度に対する画像サイズの影響です。通常、効率を上げるために、入力画像は比較的小さな空間解像度(224x224など)にサイズ変更され、トレーニングと推論の両方がこの解像度で実行されます。この再スケーリングの実際のメカニズムは後から考えられたものです。つまり、バイリニアやバイキュービックなどの既製の画像リサイザーは、ほとんどの機械学習ソフトウェアフレームワークで一般的に使用されています。しかし、これらのリサイザーは、トレーニングされたネットワークのタスクパフォーマンスを制限しますか?答えはイエスです。実際、典型的な線形リサイザーを、パフォーマンスを大幅に向上させることができる学習済みリサイザーに置き換えることができることを示します。重要なことに、従来のリサイザーは通常、ダウンスケールされた画像の知覚品質を向上させますが、提案された学習済みリサイザーは必ずしも視覚品質を向上させるわけではなく、タスクのパフォーマンスを向上させます。学習した画像リサイザーは、ベースラインビジョンモデルと共同でトレーニングされます。この学習されたCNNベースのリサイザーは、ベースラインモデルよりもエンドタスクメトリックの一貫した改善につながる、マシンフレンドリーな視覚的操作を作成します。具体的には、ここではImageNetデータセットを使用した分類タスクに焦点を当て、4つの異なるモデルを試して、各モデルに適合したリサイザーを学習します。さらに、提案されたリサイザーは、他の視覚タスクの分類ベースラインを微調整するのにも役立つ可能性があることを示します。この目的のために、3つの異なるベースラインを実験して、AVAデータセットで画質評価(IQA)モデルを開発します。
For all the ways convolutional neural nets have revolutionized computer vision in recent years, one important aspect has received surprisingly little attention: the effect of image size on the accuracy of tasks being trained for. Typically, to be efficient, the input images are resized to a relatively small spatial resolution (e.g. 224x224), and both training and inference are carried out at this resolution. The actual mechanism for this re-scaling has been an afterthought: Namely, off-the-shelf image resizers such as bilinear and bicubic are commonly used in most machine learning software frameworks. But do these resizers limit the on task performance of the trained networks? The answer is yes. Indeed, we show that the typical linear resizer can be replaced with learned resizers that can substantially improve performance. Importantly, while the classical resizers typically result in better perceptual quality of the downscaled images, our proposed learned resizers do not necessarily give better visual quality, but instead improve task performance. Our learned image resizer is jointly trained with a baseline vision model. This learned CNN-based resizer creates machine friendly visual manipulations that lead to a consistent improvement of the end task metric over the baseline model. Specifically, here we focus on the classification task with the ImageNet dataset, and experiment with four different models to learn resizers adapted to each model. Moreover, we show that the proposed resizer can also be useful for fine-tuning the classification baselines for other vision tasks. To this end, we experiment with three different baselines to develop image quality assessment (IQA) models on the AVA dataset.