arXiv reaDer
過剰適合の回避:畳み込みニューラルネットワークの正則化手法に関する調査
Avoiding Overfitting: A Survey on Regularization Methods for Convolutional Neural Networks
画像分類やオブジェクト検出などのいくつかの画像処理タスクは、畳み込みニューラルネットワーク(CNN)を使用して大幅に改善されました。 ResNetやEfficientNetと同様に、多くのアーキテクチャは、作成時までに少なくとも1つのデータセットで優れた結果を達成しています。トレーニングの重要な要素は、ネットワークの正則化に関係します。これにより、構造が過剰適合するのを防ぎます。この作業では、過去数年間に開発されたいくつかの正則化手法を分析し、さまざまなCNNモデルの大幅な改善を示しています。作業は3つの主要な領域に分類されます。最初の領域は「データ拡張」と呼ばれ、すべての手法が入力データの変更の実行に重点を置いています。 2つ目は、「内部変更」という名前で、ニューラルネットワークまたはカーネルによって生成された機能マップを変更する手順を説明することを目的としています。 「ラベル」と呼ばれる最後の1つは、特定の入力のラベルの変換に関するものです。この作業は、正則化に関する他の利用可能な調査と比較して2つの主な違いを示します。(i)最初は原稿に集められた5年以内の論文に関するものであり、(ii)2番目の違いは再現性に関するものです。つまりすべての作業です。ここで参照されているコードは、パブリックリポジトリで利用可能であるか、TensorFlowやTorchなどのフレームワークに直接実装されています。
Several image processing tasks, such as image classification and object detection, have been significantly improved using Convolutional Neural Networks (CNN). Like ResNet and EfficientNet, many architectures have achieved outstanding results in at least one dataset by the time of their creation. A critical factor in training concerns the network's regularization, which prevents the structure from overfitting. This work analyzes several regularization methods developed in the last few years, showing significant improvements for different CNN models. The works are classified into three main areas: the first one is called "data augmentation", where all the techniques focus on performing changes in the input data. The second, named "internal changes", which aims to describe procedures to modify the feature maps generated by the neural network or the kernels. The last one, called "label", concerns transforming the labels of a given input. This work presents two main differences comparing to other available surveys about regularization: (i) the first concerns the papers gathered in the manuscript, which are not older than five years, and (ii) the second distinction is about reproducibility, i.e., all works refered here have their code available in public repositories or they have been directly implemented in some framework, such as TensorFlow or Torch.
updated: Mon Jan 10 2022 11:54:06 GMT+0000 (UTC)
published: Mon Jan 10 2022 11:54:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト