ミリ波 (mmWave) とテラヘルツ (THz) のナロー ビームを正確に調整することは、5G 以降の無線通信システムの信頼性と高いデータ レートを満たすために不可欠です。ただし、この目的を達成することは、特に送信機と受信機の両方が常に移動している車車間 (V2V) 通信シナリオでは困難です。最近では、視覚センサーなどの追加のセンシング モダリティが、ワイヤレス環境に関する正確な情報を提供できるため、大きな関心を集めています。そのために、この論文では、車両に取り付けられた 360 度カメラからの画像を使用して将来のビームを予測する V2V シナリオ用の深層学習ソリューションを開発します。開発されたソリューションは、共存する 360 度カメラとミリ波ビーム トレーニング データで構成される現実世界のマルチモーダルミリ波 V2V 通信データセットで評価されます。提案された視覚支援ソリューションは、ビーム トレーニングのオーバーヘッドを大幅に削減しながら、トップ 5 のビーム予測精度約 85% を達成します。これは、モバイル性の高い V2V 通信を可能にするビジョンの活用の可能性を浮き彫りにしています。
Accurately aligning millimeter-wave (mmWave) and terahertz (THz) narrow beams is essential to satisfy reliability and high data rates of 5G and beyond wireless communication systems. However, achieving this objective is difficult, especially in vehicle-to-vehicle (V2V) communication scenarios, where both transmitter and receiver are constantly mobile. Recently, additional sensing modalities, such as visual sensors, have attracted significant interest due to their capability to provide accurate information about the wireless environment. To that end, in this paper, we develop a deep learning solution for V2V scenarios to predict future beams using images from a 360 camera attached to the vehicle. The developed solution is evaluated on a real-world multi-modal mmWave V2V communication dataset comprising co-existing 360 camera and mmWave beam training data. The proposed vision-aided solution achieves ≈85% top-5 beam prediction accuracy while significantly reducing the beam training overhead. This highlights the potential of utilizing vision for enabling highly-mobile V2V communications.