arXiv reaDer
An Adaptive Random Path Selection Approach for Incremental Learning
 従来の教師あり学習設定では、機械学習モデルは、推論段階で認識されることが望ましいすべてのオブジェクトクラスの例にアクセスできます。これにより、新しい学習タスクに適応する柔軟性に欠ける固定モデルが作成されます。実際の設定では、学習タスクは多くの場合シーケンスで到着し、モデルは以前に習得した知識を増やすために継続的に学習する必要があります。既存のインクリメンタル学習アプローチは、すべてのトレーニングクラスを一度に使用する最先端の累積モデルを大きく下回ります。本稿では、適応型RPS-Netと呼ばれるランダムパス選択アルゴリズムを提案します。これは、タスク間のパラメーター共有を促進しながら、新しいタスクの最適なパスを段階的に選択します。すでに使用されているリソースが飽和状態になった場合に、自動的にパスを切り替えることができる新しいネットワーク容量の尺度を導入します。提案されたパス再利用戦略により、知識の転送が確実に進むため、このアプローチは効率的であり、計算オーバーヘッドが大幅に削減されます。追加された新規性として、提案されたモデルは、パス選択戦略とともに知識の蒸留と遡及を統合し、壊滅的な忘却を克服します。以前の知識と新たに獲得した知識の間の均衡を維持するために、モデルの可塑性を動的にバランスさせるシンプルなコントローラーを提案します。広範な実験を通じて、Adaptive RPS-Netメソッドがインクリメンタル学習の最先端のパフォーマンスを上回ることを実証し、並列計算を利用することで、このメソッドが従来のディープコンボリューショナルニューラルネットワークとほぼ同じ効率で一定時間で実行できることを実証します。
In a conventional supervised learning setting, a machine learning model has access to examples of all object classes that are desired to be recognized during the inference stage. This results in a fixed model that lacks the flexibility to adapt to new learning tasks. In practical settings, learning tasks often arrive in a sequence and the models must continually learn to increment their previously acquired knowledge. Existing incremental learning approaches fall well below the state-of-the-art cumulative models that use all training classes at once. In this paper, we propose a random path selection algorithm, called Adaptive RPS-Net, that progressively chooses optimal paths for the new tasks while encouraging parameter sharing between tasks. We introduce a new network capacity measure that enables us to automatically switch paths if the already used resources are saturated. Since the proposed path-reuse strategy ensures forward knowledge transfer, our approach is efficient and has considerably less computation overhead. As an added novelty, the proposed model integrates knowledge distillation and retrospection along with the path selection strategy to overcome catastrophic forgetting. In order to maintain an equilibrium between previous and newly acquired knowledge, we propose a simple controller to dynamically balance the model plasticity. Through extensive experiments, we demonstrate that the Adaptive RPS-Net method surpasses the state-of-the-art performance for incremental learning and by utilizing parallel computation this method can run in constant time with nearly the same efficiency as a conventional deep convolutional neural network.
updated: Fri Jan 24 2020 07:09:38 GMT+0000 (UTC)
published: Mon Jun 03 2019 23:32:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト