セマンティック コミュニケーションは、重要な情報を見逃さずに送信するデータ量を大幅に削減できるため、関心が高まっています。既存のほとんどの作品は、テキストのセマンティック エンコーディングと送信を調査し、自然言語処理 (NLP) の手法を適用してテキストの意味を解釈します。この論文では、セマンティクスがより豊富で、帯域幅に敏感な画像データのセマンティック通信を考えています。ピクセル レベルを超えて画像をエンコードする強化学習ベースの適応セマンティック コーディング (RL-ASC) アプローチを提案します。まず、カテゴリ、空間配置、視覚的特徴を含む画像データの意味概念を表現単位として定義し、意味概念を抽出する畳み込み意味符号化器を提案します。第二に、伝統的なピクセルの類似性から意味論的類似性と知覚的パフォーマンスへと進化する画像再構成基準を提案します。第三に、新しい RL ベースのセマンティック ビット割り当てモデルを設計します。その報酬は、特定のセマンティック コンセプトを適応量子化レベルでエンコードした後のレート セマンティック パーセプチュアル パフォーマンスの向上です。したがって、タスク関連の情報は適切に保存および再構築されますが、重要度の低いデータは破棄されます。最後に、アテンション モジュールを介してローカルとグローバルの両方の機能を融合する Generative Adversarial Nets (GAN) ベースのセマンティック デコーダーを提案します。実験結果は、提案された RL-ASC がノイズに強く、視覚的に快適でセマンティックな一貫性のある画像を再構築でき、標準コーデックやその他の深層学習ベースの画像コーデックと比較してビットコストの時間を節約できることを示しています。
Semantic communications has received growing interest since it can remarkably reduce the amount of data to be transmitted without missing critical information. Most existing works explore the semantic encoding and transmission for text and apply techniques in Natural Language Processing (NLP) to interpret the meaning of the text. In this paper, we conceive the semantic communications for image data that is much more richer in semantics and bandwidth sensitive. We propose an reinforcement learning based adaptive semantic coding (RL-ASC) approach that encodes images beyond pixel level. Firstly, we define the semantic concept of image data that includes the category, spatial arrangement, and visual feature as the representation unit, and propose a convolutional semantic encoder to extract semantic concepts. Secondly, we propose the image reconstruction criterion that evolves from the traditional pixel similarity to semantic similarity and perceptual performance. Thirdly, we design a novel RL-based semantic bit allocation model, whose reward is the increase in rate-semantic-perceptual performance after encoding a certain semantic concept with adaptive quantization level. Thus, the task-related information is preserved and reconstructed properly while less important data is discarded. Finally, we propose the Generative Adversarial Nets (GANs) based semantic decoder that fuses both locally and globally features via an attention module. Experimental results demonstrate that the proposed RL-ASC is noise robust and could reconstruct visually pleasant and semantic consistent image, and saves times of bit cost compared to standard codecs and other deep learning-based image codecs.