ディープニューラルネットワークは画像圧縮センシング(CS)で目覚ましい成功を収めていますが、実際のアプリケーションでマルチレシオタスクやマルチシーン画像を処理する場合、それらのほとんどは柔軟性に欠けています。これらの課題に取り組むために、優れたパフォーマンスと強力な柔軟性を備えた、ISTA-Net ++と呼ばれる新しいエンドツーエンドの柔軟なISTA展開ディープネットワークを提案します。具体的には、動的な展開戦略を開発することにより、私たちのモデルは、単一のモデルを通じて、さまざまな比率、つまり複数比率のタスクでCS問題を処理する適応性を享受します。クロスブロック戦略は、ブロッキングアーティファクトを減らし、CSリカバリの品質を向上させるためにさらに利用されます。さらに、トレーニングにはバランスの取れたデータセットを採用しているため、複数のシーンの画像を再構築する際の堅牢性が向上します。 4つのデータセットでの広範な実験により、ISTA-Net ++は定量的メトリックと視覚的品質の両方の点で最先端の結果を達成していることが示されています。その柔軟性、有効性、実用性を考慮すると、私たちのモデルは、将来のCS研究における適切なベースラインとして役立つことが期待されています。ソースコードはhttps://github.com/jianzhangcs/ISTA-Netppで入手できます。
While deep neural networks have achieved impressive success in image compressive sensing (CS), most of them lack flexibility when dealing with multi-ratio tasks and multi-scene images in practical applications. To tackle these challenges, we propose a novel end-to-end flexible ISTA-unfolding deep network, dubbed ISTA-Net++, with superior performance and strong flexibility. Specifically, by developing a dynamic unfolding strategy, our model enjoys the adaptability of handling CS problems with different ratios, i.e., multi-ratio tasks, through a single model. A cross-block strategy is further utilized to reduce blocking artifacts and enhance the CS recovery quality. Furthermore, we adopt a balanced dataset for training, which brings more robustness when reconstructing images of multiple scenes. Extensive experiments on four datasets show that ISTA-Net++ achieves state-of-the-art results in terms of both quantitative metrics and visual quality. Considering its flexibility, effectiveness and practicability, our model is expected to serve as a suitable baseline in future CS research. The source code is available on https://github.com/jianzhangcs/ISTA-Netpp.