arXiv reaDer
マルチレベルの意味情報の支援による画像の無線伝送
Wireless Transmission of Images With The Assistance of Multi-level Semantic Information
セマンティック指向の通信は、データのセマンティクスを送信するだけで帯域幅の効率を高めることができると考えられています。本論文では、深層学習技術に基づいており、エンドツーエンドの方法で訓練された、MLSC画像と呼ばれる無線画像伝送のためのマルチレベルのセマンティック認識通信システムを提案します。特に、提案されたモデルは、テキストセマンティクスおよびセグメンテーションセマンティクスなどの高レベルセマンティック情報と、画像の局所空間詳細などの低レベルセマンティック情報の両方を抽出するマルチレベルセマンティック特徴抽出器を含む。事前にトレーニングされた画像キャプションを使用してテキストセマンティクスをキャプチャし、事前にトレーニングされた画像セグメンテーションモデルを使用してセグメンテーションセマンティクスを取得します。次に、これらの高レベルおよび低レベルのセマンティック機能が組み合わされ、セマンティックおよびチャネルエンコーダーによってシンボルにエンコードされて、物理チャネルを介して送信されます。数値結果は、特に帯域幅が制限された条件下で、提案されたセマンティック通信システムの有効性と効率を検証します。これは、画像の圧縮における高レベルのセマンティクスの利点を示しています。
Semantic-oriented communication has been considered as a promising to boost the bandwidth efficiency by only transmitting the semantics of the data. In this paper, we propose a multi-level semantic aware communication system for wireless image transmission, named MLSC-image, which is based on the deep learning techniques and trained in an end to end manner. In particular, the proposed model includes a multilevel semantic feature extractor, that extracts both the highlevel semantic information, such as the text semantics and the segmentation semantics, and the low-level semantic information, such as local spatial details of the images. We employ a pretrained image caption to capture the text semantics and a pretrained image segmentation model to obtain the segmentation semantics. These high-level and low-level semantic features are then combined and encoded by a joint semantic and channel encoder into symbols to transmit over the physical channel. The numerical results validate the effectiveness and efficiency of the proposed semantic communication system, especially under the limited bandwidth condition, which indicates the advantages of the high-level semantics in the compression of images.
updated: Fri Dec 08 2023 14:16:43 GMT+0000 (UTC)
published: Tue Feb 08 2022 16:25:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト