arXiv reaDer
Switchable Whitening for Deep Representation Learning
 正規化手法は、畳み込みニューラルネットワーク(CNN)の重要なコンポーネントです。事前定義されたピクセルのセットで推定された統計を使用して、データを標準化または白化します。特定のタスクの正規化手法を設計する既存の作品とは異なり、標準化方法だけでなく異なるホワイトニング方法を統合する一般的な形式を提供する切り替え可能ホワイトニング(SW)を提案します。 SWは、これらの操作をエンドツーエンドで切り替えることを学習します。これにはいくつかの利点があります。まず、SWはさまざまなタスクに適切なホワイトニングまたは標準化統計を適応的に選択し(図1を参照)、手動設計なしで幅広いタスクに適しています。第二に、異なるノーマライザーの利点を統合することにより、SWはさまざまな困難なベンチマークで対応するものよりも一貫した改善を示しています。第三に、SWはホワイトニングと標準化技術の特性を理解するための便利なツールとして機能します。 SWは、画像分類(CIFAR-10 / 100、ImageNet)、セマンティックセグメンテーション(ADE20K、Cityscapes)、ドメイン適応(GTA5、Cityscapes)、および画像スタイル転送(COCO)で他の選択肢より優れていることを示します。たとえば、付加機能なしで、ADE20Kデータセットで45.33%のmIoUで最先端のパフォーマンスを達成します。コードはで入手できます。
Normalization methods are essential components in convolutional neural networks (CNNs). They either standardize or whiten data using statistics estimated in predefined sets of pixels. Unlike existing works that design normalization techniques for specific tasks, we propose Switchable Whitening (SW), which provides a general form unifying different whitening methods as well as standardization methods. SW learns to switch among these operations in an end-to-end manner. It has several advantages. First, SW adaptively selects appropriate whitening or standardization statistics for different tasks (see Fig.1), making it well suited for a wide range of tasks without manual design. Second, by integrating benefits of different normalizers, SW shows consistent improvements over its counterparts in various challenging benchmarks. Third, SW serves as a useful tool for understanding the characteristics of whitening and standardization techniques. We show that SW outperforms other alternatives on image classification (CIFAR-10/100, ImageNet), semantic segmentation (ADE20K, Cityscapes), domain adaptation (GTA5, Cityscapes), and image style transfer (COCO). For example, without bells and whistles, we achieve state-of-the-art performance with 45.33% mIoU on the ADE20K dataset. Code is available at
updated: Thu Dec 12 2019 11:18:05 GMT+0000 (UTC)
published: Mon Apr 22 2019 06:22:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト