カスケードニューラルネットワークと二重らせん点像分布関数(DH-PSF)によって可能になる拡張被写界深度(DOF)での仮想画像の再集束方法を紹介します。 W-Netと呼ばれるこのネットワークモデルは、2つのカスケードされたジェネレーターとディスクリミネーターのネットワークペアで構成されています。最初のジェネレータネットワークは、入力画像をユーザー定義の平面に仮想的に再フォーカスすることを学習し、2番目のジェネレータは、クロスモダリティ画像変換を実行することを学習して、出力画像の横方向の解像度を向上させます。このW-NetモデルとDH-PSFエンジニアリングを使用して、蛍光顕微鏡のDOFを約20倍に拡張します。このアプローチは、空間分解能や体積イメージングスループットなどのイメージングパフォーマンスを向上させるために設計されたPSFを利用するローカリゼーション顕微鏡技術のためのディープラーニング対応の画像再構成法を開発するために適用できます。
We present a virtual image refocusing method over an extended depth of field (DOF) enabled by cascaded neural networks and a double-helix point-spread function (DH-PSF). This network model, referred to as W-Net, is composed of two cascaded generator and discriminator network pairs. The first generator network learns to virtually refocus an input image onto a user-defined plane, while the second generator learns to perform a cross-modality image transformation, improving the lateral resolution of the output image. Using this W-Net model with DH-PSF engineering, we extend the DOF of a fluorescence microscope by ~20-fold. This approach can be applied to develop deep learning-enabled image reconstruction methods for localization microscopy techniques that utilize engineered PSFs to improve their imaging performance, including spatial resolution and volumetric imaging throughput.