arXiv reaDer
Signed Input Regularization
 パラメーター化されたディープモデルは通常、特定のトレーニング分布に適合しすぎるため、推論時に小さな変化や分布外のサンプルに敏感になり、一般化のパフォーマンスが低下します。この目的のために、モデルがトレーニング分布を記憶するのを防ぐデータ増大など、いくつかのモデルベースおよびランダム化されたデータ依存の正則化手法が適用されます。入力画像のランダム変換の代わりに、最終予測への各変数の寄与を推定することにより線形変換を使用して入力変数を修正する新しい正則化方法であるSIGNを提案します。提案する手法では、入力データを、重要度の低い変数が強調されない新しい多様体にマッピングします。提案されたアイデアの有効性をテストし、他の競合する方法と比較するために、分類パフォーマンス、不確実性、配信外、ロバストネス分析などのいくつかのテストシナリオを設計します。 3つの異なるデータセットと4つのモデルを使用してメソッドを比較します。 SIGNは、よりコンパクトなクラス表現を奨励するため、ランダムな破損や配布対象外のサンプルに対するモデルの堅牢性をもたらし、同時に、他の競合する方法と比較して通常のデータで優れたパフォーマンスを実現します。私たちの実験は、あるサンプルから別のモデルへのSIGNサンプルの正常な転送性も実証しています。
Over-parameterized deep models usually over-fit to a given training distribution, which makes them sensitive to small changes and out-of-distribution samples at inference time, leading to low generalization performance. To this end, several model-based and randomized data-dependent regularization methods are applied, such as data augmentation, which prevents a model from memorizing the training distribution. Instead of the random transformation of the input images, we propose SIGN, a new regularization method, which modifies the input variables using a linear transformation by estimating each variable's contribution to the final prediction. Our proposed technique maps the input data to a new manifold where the less important variables are de-emphasized. To test the effectiveness of the proposed idea and compare it with other competing methods, we design several test scenarios, such as classification performance, uncertainty, out-of-distribution, and robustness analyses. We compare the methods using three different datasets and four models. We find that SIGN encourages more compact class representations, which results in the model's robustness to random corruptions and out-of-distribution samples while also simultaneously achieving superior performance on normal data compared to other competing methods. Our experiments also demonstrate the successful transferability of the SIGN samples from one model to another.
updated: Wed Dec 11 2019 05:09:35 GMT+0000 (UTC)
published: Sat Nov 16 2019 19:56:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト