自律システム (AS) は、予期せぬ出来事に応じて適応して動作を変更できるシステムであり、ドローン、自律走行車、地上/水上ロボットなどのシステムが含まれます。 AS をリアルタイムで認識して安全に動作させるには、さまざまなセンサー、深層学習モデル、強力なハードウェア プラットフォームが必要です。ただし、多くの状況において、一部のセンシング方式はシステム全体のエネルギー消費を増加させながら、知覚に悪影響を及ぼします。 AS はエネルギーに制約のあるエッジ デバイスであることが多いため、エネルギー効率の高いセンサー フュージョン方法が提案されています。しかし、既存の方法は、変化するシナリオ条件に適応できなかったり、システム全体のエネルギー効率を最適化できなかったりします。私たちは CARMA を提案します。これは、コンテキストを使用して実行時にフィールド プログラマブル ゲート アレイ (FPGA) 上の計算フローを動的に再構成する、コンテキスト認識センサー フュージョン アプローチです。 CARMA は、未使用のセンサーとモデルのサブコンポーネントをクロック ゲーティングすることにより、パフォーマンスを損なうことなく、多感覚物体検出器によって使用されるエネルギーを大幅に削減します。モデル再構成の待ち時間を最小限に抑えるために、ディープラーニング プロセッサ ユニット (DPU) ベースの再構成アプローチを使用します。私たちは、複数のコンテキスト識別戦略を評価し、新しいシステム全体のエネルギー性能共同最適化を提案し、シナリオ固有の知覚性能を評価します。 CARMA は、困難な現実世界のセンシング コンテキスト全体で、最大 1.3 倍の速度向上と 73% のエネルギー消費削減により、最先端の手法を上回ります。
Autonomous systems (AS) are systems that can adapt and change their behavior in response to unanticipated events and include systems such as aerial drones, autonomous vehicles, and ground/aquatic robots. AS require a wide array of sensors, deep-learning models, and powerful hardware platforms to perceive and safely operate in real-time. However, in many contexts, some sensing modalities negatively impact perception while increasing the system's overall energy consumption. Since AS are often energy-constrained edge devices, energy-efficient sensor fusion methods have been proposed. However, existing methods either fail to adapt to changing scenario conditions or to optimize energy efficiency system-wide. We propose CARMA: a context-aware sensor fusion approach that uses context to dynamically reconfigure the computation flow on a Field-Programmable Gate Array (FPGA) at runtime. By clock-gating unused sensors and model sub-components, CARMA significantly reduces the energy used by a multi-sensory object detector without compromising performance. We use a Deep-learning Processor Unit (DPU) based reconfiguration approach to minimize the latency of model reconfiguration. We evaluate multiple context-identification strategies, propose a novel system-wide energy-performance joint optimization, and evaluate scenario-specific perception performance. Across challenging real-world sensing contexts, CARMA outperforms state-of-the-art methods with up to 1.3x speedup and 73% lower energy consumption.