自動運転を背景に、視覚的なセンスメイキングのための体系的に統合されたビジョンおよびセマンティクスソリューションの必要性と可能性を示します。回答セットプログラミング(ASP)を使用したオンライン視覚センスメイキングの一般的な神経シンボリックメソッドは、体系的に形式化され、完全に実装されています。この方法は、最先端のビジュアルコンピューティングを統合し、リアルタイムの認識と制御のためにハイブリッドアーキテクチャ内で一般的に使用できるモジュラーフレームワークとして開発されています。コミュニティで確立されたベンチマークKITTIMOD、MOT-2017、およびMOT-2020を使用して評価し、実証します。ユースケースとして、セーフティクリティカルな自動運転の状況における、人間中心の視覚的センスメイキングの重要性に焦点を当てます。たとえば、意味表現と説明可能性、質問応答、常識的な補間が含まれます。開発されたニューロシンボリックフレームワークはドメインに依存せず、自動運転の場合は、選択された人間中心のAIテクノロジー設計の考慮事項を背景に、多様な認知相互作用設定でのオンライン視覚センスメイキングの模範として機能するように設計されています。キーワード:認知ビジョン、ディープセマンティクス、宣言型空間推論、知識表現と推論、常識推論、視覚的誘拐、回答セットプログラミング、自動運転、人間中心のコンピューティングと設計、運転技術の標準化、空間認知とAI。
We demonstrate the need and potential of systematically integrated vision and semantics solutions for visual sensemaking in the backdrop of autonomous driving. A general neurosymbolic method for online visual sensemaking using answer set programming (ASP) is systematically formalised and fully implemented. The method integrates state of the art in visual computing, and is developed as a modular framework that is generally usable within hybrid architectures for realtime perception and control. We evaluate and demonstrate with community established benchmarks KITTIMOD, MOT-2017, and MOT-2020. As use-case, we focus on the significance of human-centred visual sensemaking -- e.g., involving semantic representation and explainability, question-answering, commonsense interpolation -- in safety-critical autonomous driving situations. The developed neurosymbolic framework is domain-independent, with the case of autonomous driving designed to serve as an exemplar for online visual sensemaking in diverse cognitive interaction settings in the backdrop of select human-centred AI technology design considerations. Keywords: Cognitive Vision, Deep Semantics, Declarative Spatial Reasoning, Knowledge Representation and Reasoning, Commonsense Reasoning, Visual Abduction, Answer Set Programming, Autonomous Driving, Human-Centred Computing and Design, Standardisation in Driving Technology, Spatial Cognition and AI.