arXiv reaDer
L * ReLU:詳細な視覚分類のための区分的線形活性化関数
L*ReLU: Piece-wise Linear Activation Functions for Deep Fine-grained Visual Categorization
  ディープニューラルネットワークは、過去数年間に画像の視覚的分類を大幅に改善する道を開きました。ただし、タスクは非常に多様で、複雑さと難易度は異なりますが、既存のソリューションはほとんど同じアーキテクチャ上の決定に基づいています。これは、アクティベーション機能(AF)の選択にも当てはまります。ほとんどのアプローチは、Rectified Linear Unit(ReLU)に基づいています。ただし、このホワイトペーパーでは、適切なAFの選択が分類精度に大きな影響を与えることを示しています。特に、細かい微妙な詳細が関連している場合はそうです。したがって、L * ReLUと呼ばれる区分的線形関数を使用して、AFを介してフィーチャの不在と存在の度合いをモデル化することを提案します。このようにして、ReLUから計算効率の面で利点を継承しながら、必要なプロパティを確保できます。 7つの異なるベンチマークデータセットで実験を実行する、粒度の細かい視覚分類(FGVC)のタスクに対するアプローチを示します。結果は優れた結果を示すだけでなく、異なるタスクを持ち、異なる特性を持ち、異なるAFが選択されていることも示しています。
Deep neural networks paved the way for significant improvements in image visual categorization during the last years. However, even though the tasks are highly varying, differing in complexity and difficulty, existing solutions mostly build on the same architectural decisions. This also applies to the selection of activation functions (AFs), where most approaches build on Rectified Linear Units (ReLUs). In this paper, however, we show that the choice of a proper AF has a significant impact on the classification accuracy, in particular, if fine, subtle details are of relevance. Therefore, we propose to model the degree of absence and the presence of features via the AF by using piece-wise linear functions, which we refer to as L*ReLU. In this way, we can ensure the required properties, while still inheriting the benefits in terms of computational efficiency from ReLUs. We demonstrate our approach for the task of Fine-grained Visual Categorization (FGVC), running experiments on seven different benchmark datasets. The results do not only demonstrate superior results but also that for different tasks, having different characteristics, different AFs are selected.
updated: Sun Oct 27 2019 13:15:32 GMT+0000 (UTC)
published: Sun Oct 27 2019 13:15:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト