新たなトピックとしての深層学習モデルは、さまざまな分野で大きな進歩を遂げています。特に、クラス活性化マッピング法などの視覚化ツールは、畳み込みニューラル ネットワーク (CNN) の推論に関する視覚的な説明を提供しました。ネットワーク層の勾配を使用することで、特定の画像認識タスク中にネットワークがどこに注意を払うかを示すことができます。さらに、これらの勾配を CNN 機能と統合して、シーン内のより一般化されたタスク依存の注意深い (顕著な) オブジェクトをローカライズすることができます。この進歩にもかかわらず、オブジェクト セマンティクスの CNN 表現と統合するために、この勾配 (ネットワーク アテンション) 情報を明示的に使用する方法はあまりありません。これは、空間的に注意深いオブジェクトの位置の CNN 表現がパフォーマンスの向上につながる可能性がある同時ローカリゼーションおよびマッピング (SLAM) などの視覚タスクに非常に役立ちます。したがって、この作業では、RGB-D 屋内 SLAM にタスク固有のネットワーク アテンションを使用することを提案します。そのために、レイヤー単位のオブジェクト注意情報 (レイヤー勾配) を CNN レイヤー表現と統合して、RGB-D 屋内 SLAM メソッドでのフレーム関連付けパフォーマンスを向上させます。実験では、ベースラインよりもパフォーマンスが向上した有望な結果が示されています。
Deep learning models as an emerging topic have shown great progress in various fields. Especially, visualization tools such as class activation mapping methods provided visual explanation on the reasoning of convolutional neural networks (CNNs). By using the gradients of the network layers, it is possible to demonstrate where the networks pay attention during a specific image recognition task. Moreover, these gradients can be integrated with CNN features for localizing more generalized task dependent attentive (salient) objects in scenes. Despite this progress, there is not much explicit usage of this gradient (network attention) information to integrate with CNN representations for object semantics. This can be very useful for visual tasks such as simultaneous localization and mapping (SLAM) where CNN representations of spatially attentive object locations may lead to improved performance. Therefore, in this work, we propose the use of task specific network attention for RGB-D indoor SLAM. To do so, we integrate layer-wise object attention information (layer gradients) with CNN layer representations to improve frame association performance in an RGB-D indoor SLAM method. Experiments show promising results with improved performance over the baseline.