arXiv reaDer
フーリエ畳み込みネットワークを使用したプログラム可能な 3D スナップショット顕微鏡
Programmable 3D snapshot microscopy with Fourier convolutional networks
3D スナップショット顕微鏡は、単一の 2D カメラ画像で 3D ボリュームをキャプチャすることで高速ボリューム イメージングを可能にし、ゼブラフィッシュの幼体の高速神経活動の全脳イメージングなど、さまざまな生物学的アプリケーションを発見しました。この光学 3D から 2D へのエンコードに最適な顕微鏡設計は、サンプルとタスクの両方に依存しており、一般的な解決策は知られていません。高度にプログラム可能な光学要素は、顕微鏡パラメータのサンプル固有の計算最適化の新しい可能性を生み出します。たとえば、特定のサンプル構造の光の収集を調整します。このような最適化は、プログラム可能な顕微鏡とニューラル ネットワークを介した光の伝搬の微分可能な波動光学シミュレーションを使用して、ディープ ラーニングで実行し、顕微鏡画像からボリュームを再構成します。ボリュームの複数の深さから情報を効率的にデコードし、3D スナップショット画像全体でグローバルにエンコードできる、グローバル カーネル フーリエ畳み込みニューラル ネットワークのクラスを紹介します。提案されたネットワークは、従来のネットワークが失敗する大きな視野ボリュームの再構成と顕微鏡パラメーターの最適化に成功することを示します。また、私たちのネットワークが、レンズレス計算写真用の最先端の学習済み再構成アルゴリズムよりも優れていることも示しています。
3D snapshot microscopy enables fast volumetric imaging by capturing a 3D volume in a single 2D camera image, and has found a variety of biological applications such as whole brain imaging of fast neural activity in larval zebrafish. The optimal microscope design for this optical 3D-to-2D encoding is both sample- and task-dependent, with no general solution known. Highly programmable optical elements create new possibilities for sample-specific computational optimization of microscope parameters, e.g. tuning the collection of light for a given sample structure. We perform such optimization with deep learning, using a differentiable wave-optics simulation of light propagation through a programmable microscope and a neural network to reconstruct volumes from the microscope image. We introduce a class of global kernel Fourier convolutional neural networks which can efficiently decode information from multiple depths in the volume, globally encoded across a 3D snapshot image. We show that our proposed networks succeed in large field of view volume reconstruction and microscope parameter optimization where traditional networks fail. We also show that our networks outperform the state-of-the-art learned reconstruction algorithms for lensless computational photography.
updated: Wed Jun 09 2021 00:15:00 GMT+0000 (UTC)
published: Wed Apr 21 2021 16:09:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト