アクティブな視覚的探索は、連続する観測が環境に基づいてアクティブに選択される現実世界のシナリオでの制限されたセンサー機能の問題に対処します。この問題に取り組むために、アテンション マップ エントロピー (AME) と呼ばれる新しい手法を導入します。変圧器ベースのモデルの内部不確実性を活用して、最も有益な観測結果を決定します。既存のソリューションとは対照的に、追加の損失コンポーネントを必要としないため、トレーニングが簡素化されます。網膜のようなセンサーも模倣する実験を通じて、このような単純化されたトレーニングが、公開されているデータセットの再構成と分類のパフォーマンスを大幅に向上させることを示しています。
Active visual exploration addresses the issue of limited sensor capabilities in real-world scenarios, where successive observations are actively chosen based on the environment. To tackle this problem, we introduce a new technique called Attention-Map Entropy (AME). It leverages the internal uncertainty of the transformer-based model to determine the most informative observations. In contrast to existing solutions, it does not require additional loss components, which simplifies the training. Through experiments, which also mimic retina-like sensors, we show that such simplified training significantly improves the performance of reconstruction and classification on publicly available datasets.