リアルタイム 3D 蛍光顕微鏡は、神経活動モニタリングなどの生きた生物の時空間分析に不可欠です。フーリエ光フィールド顕微鏡としても知られる拡張視野光フィールド顕微鏡 (XLFM) は、これを達成するための簡単な単一スナップショット ソリューションです。 XLFM は、1 回のカメラ露出で空間角度情報を取得します。後続のステップでは、3D ボリュームをアルゴリズム的に再構築できるため、リアルタイム 3D 取得および潜在的な分析に非常に適しています。残念ながら、従来の再構成方法 (デコンボリューションなど) には長い処理時間 (0.0220 Hz) が必要であり、XLFM の速度の利点が損なわれています。ニューラル ネットワーク アーキテクチャは、確実性の指標が欠如しているという犠牲を払って速度の制約を克服できますが、そのため生物医学の分野では信頼できなくなります。この研究は、条件付き正規化フローに基づいて、生きた固定化されたゼブラフィッシュの神経活動の高速 3D 再構成を実行する新しいアーキテクチャを提案します。 512x512x96 ボクセルにわたるボリュームを 8 Hz で再構築し、データセット要件が小さい (10 個の画像とボリュームのペア) ため、2 時間未満でトレーニングできます。さらに、フローを正規化することで正確な尤度計算が可能になり、分布監視が可能になり、その後の分布外の検出と新しいサンプルが検出された場合のシステムの再トレーニングが可能になります。提案された方法を、複数の分布内サンプル(遺伝的に同一のゼブラフィッシュ)とさまざまな分布外サンプルを含む交差検証アプローチで評価します。
Real-time 3D fluorescence microscopy is crucial for the spatiotemporal analysis of live organisms, such as neural activity monitoring. The eXtended field-of-view light field microscope (XLFM), also known as Fourier light field microscope, is a straightforward, single snapshot solution to achieve this. The XLFM acquires spatial-angular information in a single camera exposure. In a subsequent step, a 3D volume can be algorithmically reconstructed, making it exceptionally well-suited for real-time 3D acquisition and potential analysis. Unfortunately, traditional reconstruction methods (like deconvolution) require lengthy processing times (0.0220 Hz), hampering the speed advantages of the XLFM. Neural network architectures can overcome the speed constraints at the expense of lacking certainty metrics, which renders them untrustworthy for the biomedical realm. This work proposes a novel architecture to perform fast 3D reconstructions of live immobilized zebrafish neural activity based on a conditional normalizing flow. It reconstructs volumes at 8 Hz spanning 512x512x96 voxels, and it can be trained in under two hours due to the small dataset requirements (10 image-volume pairs). Furthermore, normalizing flows allow for exact Likelihood computation, enabling distribution monitoring, followed by out-of-distribution detection and retraining of the system when a novel sample is detected. We evaluate the proposed method on a cross-validation approach involving multiple in-distribution samples (genetically identical zebrafish) and various out-of-distribution ones.