既存の微調整方法は、すべてのレイヤーで単一の学習率を使用します。この論文では、最初に、単一の学習率を使用して微調整することによる層ごとの重みの変動の傾向が、低レベルの層が一般的な特徴を抽出し、高レベルの層が特定の特徴を抽出するというよく知られた概念と一致しないことを説明します。私たちの議論に基づいて、レイヤーごとのプルーニングとレイヤーごとの学習率の自動調整を通じて、微調整のパフォーマンスを向上させ、ネットワークの複雑さを軽減するアルゴリズムを提案します。提案されたアルゴリズムは、画像検索ベンチマークデータセット(CUB-200、Cars-196、スタンフォードオンライン製品、およびInshop)で最先端のパフォーマンスを達成することにより、有効性を検証しました。コードはhttps://github.com/youngminPIL/AutoLRで入手できます。
Existing fine-tuning methods use a single learning rate over all layers. In this paper, first, we discuss that trends of layer-wise weight variations by fine-tuning using a single learning rate do not match the well-known notion that lower-level layers extract general features and higher-level layers extract specific features. Based on our discussion, we propose an algorithm that improves fine-tuning performance and reduces network complexity through layer-wise pruning and auto-tuning of layer-wise learning rates. The proposed algorithm has verified the effectiveness by achieving state-of-the-art performance on the image retrieval benchmark datasets (CUB-200, Cars-196, Stanford online product, and Inshop). Code is available at https://github.com/youngminPIL/AutoLR.