本論文では、非線形変換の下でのソース分布に密接に適応することができる高効率の深部ジョイントソースチャネルコーディング方法のクラスを提案し、それは非線形変換ソースチャネルコーディング(NTSCC)という名前で収集することができる。検討対象のモデルでは、送信機は最初に非線形解析変換を学習してソースデータを潜在空間にマッピングし、次にディープジョイントソースチャネルコーディングを介して潜在表現を受信機に送信します。私たちのモデルは、ソースのセマンティック機能を効果的に抽出し、ソースチャネルコーディングのサイド情報を提供する前に、非線形変換を強力なものとして組み込んでいます。既存の従来のディープジョイントソースチャネルコーディング方法とは異なり、提案されたNTSCCは、基本的に、潜在表現の事前として、ソース潜在表現とエントロピーモデルの両方を学習します。したがって、新しい適応レート伝送およびハイパープライアードコーデックリファインメントメカニズムが開発され、ディープジョイントソースチャネルコーディングがアップグレードされます。システム全体の設計は、確立された知覚品質メトリックの下でエンドツーエンドの伝送レート歪み性能を最小化することを目的とした最適化問題として定式化されます。さまざまな解像度のテスト画像ソース全体で、提案されたNTSCC伝送方式は、標準のディープジョイントソースチャネルコーディングを使用したアナログ伝送と従来の分離ベースのデジタル伝送の両方よりも一般的に優れていることがわかります。特に、提案されたNTSCC手法は、コンテンツ認識能力と知覚最適化の目標により、将来のセマンティックコミュニケーションをサポートできる可能性があります。
In this paper, we propose a class of high-efficiency deep joint source-channel coding methods that can closely adapt to the source distribution under the nonlinear transform, it can be collected under the name nonlinear transform source-channel coding (NTSCC). In the considered model, the transmitter first learns a nonlinear analysis transform to map the source data into latent space, then transmits the latent representation to the receiver via deep joint source-channel coding. Our model incorporates the nonlinear transform as a strong prior to effectively extract the source semantic features and provide side information for source-channel coding. Unlike existing conventional deep joint source-channel coding methods, the proposed NTSCC essentially learns both the source latent representation and an entropy model as the prior on the latent representation. Accordingly, novel adaptive rate transmission and hyperprior-aided codec refinement mechanisms are developed to upgrade deep joint source-channel coding. The whole system design is formulated as an optimization problem whose goal is to minimize the end-to-end transmission rate-distortion performance under established perceptual quality metrics. Across test image sources with various resolutions, we find that the proposed NTSCC transmission method generally outperforms both the analog transmission using the standard deep joint source-channel coding and the classical separation-based digital transmission. Notably, the proposed NTSCC method can potentially support future semantic communications due to its content-aware ability and perceptual optimization goal.