arXiv reaDer
Recurrent 3D Attentional Networks for End-to-End Active Object Recognition
アクティブビジョンは本質的に注意主導型です。エージェントは、観察されているシーンの内部表現を改善しながら、ビジョンタスクを迅速に達成するために、参加するビューをアクティブに選択します。単一のRGB画像に基づく2Dビジョンタスクにおける注意ベースのモデルの最近の成功に触発されて、エンドツーエンドの反復3D注意ネットワークを開発することにより、注意メカニズムを使用したマルチビュー深度ベースのアクティブオブジェクト認識に対処することを提案します。このアーキテクチャは、リカレントニューラルネットワーク(RNN)を利用して、内部表現を保存および更新します。 3D形状データセットでトレーニングされたモデルは、対象のオブジェクトを認識して対象とする最良のビューに繰り返し対応できます。 3Dビューの選択を実現するために、バックプロパゲーションによるトレーニングで微分可能な3D空間トランスフォーマーネットワークを導出し、既存のほとんどの注意ベースのモデルで採用されている強化学習よりもはるかに高速な収束を実現します。実験によれば、深度入力のみを使用するこの方法は、時間効率と認識精度において最先端の次善のパフォーマンスを実現します。
Active vision is inherently attention-driven: The agent actively selects views to attend in order to fast achieve the vision task while improving its internal representation of the scene being observed. Inspired by the recent success of attention-based models in 2D vision tasks based on single RGB images, we propose to address the multi-view depth-based active object recognition using attention mechanism, through developing an end-to-end recurrent 3D attentional network. The architecture takes advantage of a recurrent neural network (RNN) to store and update an internal representation. Our model, trained with 3D shape datasets, is able to iteratively attend to the best views targeting an object of interest for recognizing it. To realize 3D view selection, we derive a 3D spatial transformer network which is differentiable for training with backpropagation, achieving much faster convergence than the reinforcement learning employed by most existing attention-based models. Experiments show that our method, with only depth input, achieves state-of-the-art next-best-view performance in time efficiency and recognition accuracy.
updated: Tue Jan 11 2022 12:37:22 GMT+0000 (UTC)
published: Fri Oct 14 2016 01:25:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト