ディープニューラルネットワーク(DNN)は、入力と出力の間の洗練された固定マッピングルールを学習するための強力なツールです。これにより、マッピングルールが同じに保たれず、さまざまなコンテキストに応じて変化する、より複雑で動的な状況でのアプリケーションが制限されます。このような限界を引き上げるために、コンテキスト依存処理(CDP)モジュールを追加して、直交重み修正(OWM)と呼ばれる学習アルゴリズムを含む新しいアプローチを開発しました。壊滅的な忘却の問題を克服するOWMと、さまざまなコンテキストで特徴表現と分類子を再利用する方法を学習するCDPモジュールを使用すると、単一のネットワークで多数のコンテキスト依存のマッピングルールをオンラインで継続的に取得できることを示しました。それぞれを学習するためのサンプルはわずか10個です。これにより、非常にコンパクトなシステムが現実世界の無数の規則性を徐々に学習し、最終的にはその中で適切に動作できるようになります。
Deep neural networks (DNNs) are powerful tools in learning sophisticated but fixed mapping rules between inputs and outputs, thereby limiting their application in more complex and dynamic situations in which the mapping rules are not kept the same but changing according to different contexts. To lift such limits, we developed a novel approach involving a learning algorithm, called orthogonal weights modification (OWM), with the addition of a context-dependent processing (CDP) module. We demonstrated that with OWM to overcome the problem of catastrophic forgetting, and the CDP module to learn how to reuse a feature representation and a classifier for different contexts, a single network can acquire numerous context-dependent mapping rules in an online and continual manner, with as few as ∼10 samples to learn each. This should enable highly compact systems to gradually learn myriad regularities of the real world and eventually behave appropriately within it.