arXiv reaDer
Regularizing CNN Transfer Learning with Randomised Regression
 このペーパーは、ターゲットドメインのトレーニングデータが制限された転移学習の適応フレームワークに基づいて、深い畳み込みネットワーク(CNN)を正則化することについて説明しています。このコンテキストでのCNN正則化の最近の進歩は、通常、追加の正則化目標の使用によるものです。それらは、いくつかの形式の具体的なタスクを使用して、トレーニングをターゲットタスクから遠ざけます。これらの関連するアプローチとは異なり、具体的な目標のない目的でも、正規化されたものとして十分に機能できることをお勧めします。特に、微調整中に画像表現を疑似回帰ターゲットに回帰しようとするだけでネットワークを動的に正則化する疑似タスク正則化(PtR)を示します。つまり、CNNはデータの追加リソースや以前のドメインの専門知識がなくても効率的に正則化されます。要約すると、提案されたPtRは以下を提供します。a)具体的な正則化目標または追加の注釈の設計に依存しないネットワーク正則化の代替手段。 b)オンラインで目標間の勾配ノルムのバランスをとることにより、動的に調整され維持される正則化効果の強さ。驚くべきことに、数多くの実験を通じて、PtRによる分類精度の改善が、最近の最先端の方法よりも優れているか、同等であることが示されています。
This paper is about regularizing deep convolutional networks (CNNs) based on an adaptive framework for transfer learning with limited training data in the target domain. Recent advances of CNN regularization in this context are commonly due to the use of additional regularization objectives. They guide the training away from the target task using some forms of concrete tasks. Unlike those related approaches, we suggest that an objective without a concrete goal can still serve well as a regularized. In particular, we demonstrate Pseudo-task Regularization (PtR) which dynamically regularizes a network by simply attempting to regress image representations to pseudo-regression targets during fine-tuning. That is, a CNN is efficiently regularized without additional resources of data or prior domain expertise. In sum, the proposed PtR provides: a) an alternative for network regularization without dependence on the design of concrete regularization objectives or extra annotations; b) a dynamically adjusted and maintained strength of regularization effect by balancing the gradient norms between objectives on-line. Through numerous experiments, surprisingly, the improvements on classification accuracy by PtR are shown greater or on a par to the recent state-of-the-art methods.
updated: Tue Apr 28 2020 09:50:27 GMT+0000 (UTC)
published: Fri Aug 16 2019 14:57:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト