arXiv reaDer
Average Biased ReLU Based CNN Descriptor for Improved Face Retrieval
AlexNet、GoogleNet、VGGNetなどを含む畳み込みニューラルネットワーク(CNN)は、非常に識別力のある多くのコンピュータービジョン問題の特徴を抽出します。あるデータセットでトレーニングされたCNNモデルはかなり良好に機能しますが、同様のタイプの別のデータセットでは、手作業で設計された特徴記述子が同じトレーニングされたCNNモデルよりも優れています。 Rectified Linear Unit(ReLU)レイヤーは、非線形性を導入するためにいくつかの値を破棄します。本論文では、訓練されたモデルを使用した深部画像表現の識別能力は、最後の数層での平均バイアスReLU(AB-ReLU)によって改善できることを提案します。基本的に、AB-ReLUは、2つの方法で識別能力を向上させます。1)ReLUの識別および破棄されたネガティブ情報の一部を利用し、2)ReLUで使用される無関係でポジティブな情報も無視します。 VGG-Faceデータセットを介してMatConvNetでトレーニングされたVGGFaceモデルは、他の顔データセットを介した顔検索の機能記述子として使用されます。提案されたアプローチは、6つの挑戦的で制約のない堅牢な顔データセット(PubFig、LFW、PaSC、AR、FERET、ExtYale)と、検索フレームワークの大規模顔データセット(PolyUNIR)でテストされています。顔のデータセットに対して事前にトレーニングされたVGGFaceモデルで使用すると、AB-ReLUがReLUよりも優れていることが観察されます。すべてのReLUをAB-ReLUに置き換えた後にネットワークをトレーニングすることによる検証エラーも、各データセットに対して好ましいことが観察されています。 AB-ReLUは、7つの顔データセットすべてで、Sigmoid、ReLU、Leaky ReLU、FlexibleReLUなどの最先端のアクティベーション機能よりも優れています。
The convolutional neural networks (CNN), including AlexNet, GoogleNet, VGGNet, etc. extract features for many computer vision problems which are very discriminative. The trained CNN model over one dataset performs reasonably well whereas on another dataset of similar type the hand-designed feature descriptor outperforms the same trained CNN model. The Rectified Linear Unit (ReLU) layer discards some values in order to introduce the non-linearity. In this paper, it is proposed that the discriminative ability of deep image representation using trained model can be improved by Average Biased ReLU (AB-ReLU) at the last few layers. Basically, AB-ReLU improves the discriminative ability in two ways: 1) it exploits some of the discriminative and discarded negative information of ReLU and 2) it also neglects the irrelevant and positive information used in ReLU. The VGGFace model trained in MatConvNet over the VGG-Face dataset is used as the feature descriptor for face retrieval over other face datasets. The proposed approach is tested over six challenging, unconstrained and robust face datasets (PubFig, LFW, PaSC, AR, FERET and ExtYale) and also on a large scale face dataset (PolyUNIR) in retrieval framework. It is observed that the AB-ReLU outperforms the ReLU when used with a pre-trained VGGFace model over the face datasets. The validation error by training the network after replacing all ReLUs with AB-ReLUs is also observed to be favorable over each dataset. The AB-ReLU even outperforms the state-of-the-art activation functions, such as Sigmoid, ReLU, Leaky ReLU and Flexible ReLU over all seven face datasets.
updated: Sun Jan 23 2022 04:15:21 GMT+0000 (UTC)
published: Mon Apr 02 2018 15:03:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト