深層学習ベースの画像再構成法は、位相回復とホログラフィックイメージングで目覚ましい成功を収めています。ただし、ネットワークで見られない新しいタイプのサンプルへの画像再構成パフォーマンスの一般化は、依然として課題です。ここでは、フーリエイメージャネットワーク(FIN)と呼ばれるディープラーニングフレームワークを紹介します。これは、新しいタイプのサンプルの生のホログラムからエンドツーエンドの位相回復と画像再構成を実行でき、外部の一般化で前例のない成功を収めています。 FINアーキテクチャは、学習可能なフィルターとグローバル受容野を使用して入力の空間周波数を処理する空間フーリエ変換モジュールに基づいています。ホログラム再構成に使用される既存の畳み込みディープニューラルネットワークと比較して、FINは新しいタイプのサンプルに対して優れた一般化を示し、画像推論速度もはるかに高速で、サンプルの1 mm^2あたり約0.04秒でホログラム再構成タスクを完了します。範囲。 FINのパフォーマンスは、人間の肺組織サンプルを使用してトレーニングし、人間の前立腺、唾液腺組織、パパニコロウ塗抹標本サンプルで盲目的にテストすることで実験的に検証し、優れた外部一般化と画像再構成速度を証明しました。ホログラフィック顕微鏡と定量的位相イメージングを超えて、FINと基礎となるニューラルネットワークアーキテクチャは、計算イメージングとマシンビジョンの分野で広く一般化可能な深層学習モデルを設計するためのさまざまな新しい機会を開く可能性があります。
Deep learning-based image reconstruction methods have achieved remarkable success in phase recovery and holographic imaging. However, the generalization of their image reconstruction performance to new types of samples never seen by the network remains a challenge. Here we introduce a deep learning framework, termed Fourier Imager Network (FIN), that can perform end-to-end phase recovery and image reconstruction from raw holograms of new types of samples, exhibiting unprecedented success in external generalization. FIN architecture is based on spatial Fourier transform modules that process the spatial frequencies of its inputs using learnable filters and a global receptive field. Compared with existing convolutional deep neural networks used for hologram reconstruction, FIN exhibits superior generalization to new types of samples, while also being much faster in its image inference speed, completing the hologram reconstruction task in ~0.04 s per 1 mm^2 of the sample area. We experimentally validated the performance of FIN by training it using human lung tissue samples and blindly testing it on human prostate, salivary gland tissue and Pap smear samples, proving its superior external generalization and image reconstruction speed. Beyond holographic microscopy and quantitative phase imaging, FIN and the underlying neural network architecture might open up various new opportunities to design broadly generalizable deep learning models in computational imaging and machine vision fields.