arXiv reaDer
スケール空間理論を使用した深い畳み込みネットワークでの解像度学習
Resolution learning in deep convolutional networks using scale-space theory
深い畳み込みニューラルネットワーク(CNN)の解像度は、通常、フィルターサイズを介した受容野サイズ、および特徴マップ上のサブサンプリングレイヤーまたはストライド畳み込みによって制限されます。最適な解像度は、データセットによって大幅に異なる場合があります。最新のCNNは、ネットワークアーキテクチャに解像度ハイパーパラメータをハードコーディングしているため、このようなハイパーパラメータの調整が面倒になります。ハードコードされた解像度ハイパーパラメータを廃止し、データから適切な解像度を学習することを目指します。スケール空間理論を使用して、フィルターの自己相似パラメーター化を取得し、N-Jetを使用します。これは、ガウス微分フィルターの学習された組み合わせによってフィルターを近似するための切り捨てられたテイラー級数です。ガウス基底のパラメーターシグマは、フィルターがエンコードする詳細の量とフィルターの空間範囲の両方を制御します。シグマは連続パラメーターであるため、損失に関して最適化できます。提案されたN-Jetレイヤーは、各レイヤーの正しい解像度を自動的に学習しながら、最先端のアーキテクチャで使用した場合に同等のパフォーマンスを実現します。分類とセグメンテーションの両方でN-Jetレイヤーを評価し、シグマの学習が複数のサイズの入力に特に有益であることを示します。
Resolution in deep convolutional neural networks (CNNs) is typically bounded by the receptive field size through filter sizes, and subsampling layers or strided convolutions on feature maps. The optimal resolution may vary significantly depending on the dataset. Modern CNNs hard-code their resolution hyper-parameters in the network architecture which makes tuning such hyper-parameters cumbersome. We propose to do away with hard-coded resolution hyper-parameters and aim to learn the appropriate resolution from data. We use scale-space theory to obtain a self-similar parametrization of filters and make use of the N-Jet: a truncated Taylor series to approximate a filter by a learned combination of Gaussian derivative filters. The parameter sigma of the Gaussian basis controls both the amount of detail the filter encodes and the spatial extent of the filter. Since sigma is a continuous parameter, we can optimize it with respect to the loss. The proposed N-Jet layer achieves comparable performance when used in state-of-the art architectures, while learning the correct resolution in each layer automatically. We evaluate our N-Jet layer on both classification and segmentation, and we show that learning sigma is especially beneficial for inputs at multiple sizes.
updated: Wed Jun 30 2021 14:08:16 GMT+0000 (UTC)
published: Mon Jun 07 2021 08:23:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト