正確な画像再構成は、光音響 (PA) コンピューター断層撮影 (PACT) にとって非常に重要です。最近、深層学習を使用して、教師付きスキームで PA 画像を再構築するようになりました。これには、グラウンド トゥルース ラベルとして高品質の画像が必要です。実際には、より多くのチャンネルを使用することは、より多くの測定値にアクセスするための高価な戦略であるため、コストとパフォーマンスの間には避けられないトレードオフがあります。ここでは、限られたPA測定からのグラウンドトゥルースラベルの欠如を克服する、純粋なトランスモデルを使用したクロスドメイン教師なし再構成(CDUR)戦略を提案します。提案されたアプローチは、PACT の等分散性を利用して、より少ない数のチャネルで高いパフォーマンスを実現します。モデルベースの形式で自己教師付き再構成を実装します。一方、自己監視を活用して、異なるチャネルをランダムにマスキングすることにより、測定された PA データの 3 つのパーティションで測定と画像の一貫性を強化します。チャネルの大部分、たとえば 80% を動的にマスキングすると、画像ドメインと信号ドメインの両方で自明でない自己スーパーバイザーが生成され、疑似解の多重度が低下して、より少ない PA 測定値から画像を効率的に再構築し、最小のエラーであることがわかります。画像。マウスの in vivo PACT データセットに関する実験結果は、教師なしフレームワークの可能性を示しています。さらに、私たちの方法は、教師ありスキーム (16 チャネルで 0.77 SSIM) のパフォーマンスに近い高いパフォーマンス (13 チャネルの極端にまばらなケースで 0.83 構造類似性指数 (SSIM)) を示します。すべての利点に加えて、私たちの方法は、エンドツーエンドの方法でさまざまなトレーニング可能なモデルに展開できます。
Accurate image reconstruction is crucial for photoacoustic (PA) computed tomography (PACT). Recently, deep learning has been used to reconstruct the PA image with a supervised scheme, which requires high-quality images as ground truth labels. In practice, there are inevitable trade-offs between cost and performance since the use of more channels is an expensive strategy to access more measurements. Here, we propose a cross-domain unsupervised reconstruction (CDUR) strategy with a pure transformer model, which overcomes the lack of ground truth labels from limited PA measurements. The proposed approach exploits the equivariance of PACT to achieve high performance with a smaller number of channels. We implement a self-supervised reconstruction in a model-based form. Meanwhile, we also leverage the self-supervision to enforce the measurement and image consistency on three partitions of measured PA data, by randomly masking different channels. We find that dynamically masking a high proportion of the channels, e.g., 80%, yields nontrivial self-supervisors in both image and signal domains, which decrease the multiplicity of the pseudo solution to efficiently reconstruct the image from fewer PA measurements with minimum error of the image. Experimental results on in-vivo PACT dataset of mice demonstrate the potential of our unsupervised framework. In addition, our method shows a high performance (0.83 structural similarity index (SSIM) in the extreme sparse case with 13 channels), which is close to that of supervised scheme (0.77 SSIM with 16 channels). On top of all the advantages, our method may be deployed on different trainable models in an end-to-end manner.