パッシブセンサーを使用した深度抽出は、ディープラーニングによって顕著な改善が見られましたが、トレーニング中に観察されない環境にさらされた場合、これらのアプローチでは正しい深度を取得できない可能性があります。教師なし学習を使用してニューラルネットワークを展開しながらトレーニングするオンライン適応は、便利なソリューションを提供します。ただし、オンライン適応により、ニューラルネットワークは過去を忘れてしまいます。したがって、過去のトレーニングは無駄になり、ネットワークは過去のシーンを観察すると良い結果を提供できません。この作業は、入力がオンラインで時間的に相関しており、トレーニングが完全に監視されていない実用的なオンライン適応を扱います。オンラインデータに適応する際の壊滅的な忘却を回避するために、タスク境界のない正則化と再生ベースの方法が提案されています。実験は、モーションからの構造とステレオの両方を使用して、さまざまなデータセットで実行されます。最近の方法よりも優れた忘却と適応の結果が提供されます。提案されたアプローチは、ニューラルネットワークが監視なし(ターゲットラベルとタスク)で、過去を忘れることなく展開されるシーンを学習するため、人工知能パラダイムとより一致しています。コードはgithub.com/umarKarim/cou_stereoおよびgithub.com/umarKarim/cou_sfmで入手できます。
Although depth extraction with passive sensors has seen remarkable improvement with deep learning, these approaches may fail to obtain correct depth if they are exposed to environments not observed during training. Online adaptation, where the neural network trains while deployed, with unsupervised learning provides a convenient solution. However, online adaptation causes a neural network to forget the past. Thus, past training is wasted and the network is not able to provide good results if it observes past scenes. This work deals with practical online-adaptation where the input is online and temporally-correlated, and training is completely unsupervised. Regularization and replay-based methods without task boundaries are proposed to avoid catastrophic forgetting while adapting to online data. Experiments are performed on different datasets with both structure-from-motion and stereo. Results of forgetting as well as adaptation are provided, which are superior to recent methods. The proposed approach is more inline with the artificial general intelligence paradigm as the neural network learns the scene where it is deployed without any supervision (target labels and tasks) and without forgetting about the past. Code is available at github.com/umarKarim/cou_stereo and github.com/umarKarim/cou_sfm.