光学顕微鏡は、生きた細胞や生体組織を細胞レベル以下の解像度で観察するために日常的に使用されています。イメージングされた細胞の成分は、蛍光標識を使用して強調表示できるため、生物学者は関心のある個々の構造を調べることができます。生物学的プロセスの複雑さを考えると、通常、時間多重化スキームを介して、複数の構造を同時に見る必要があります。それでも、この方法で 3 つまたは 4 つを超える構造をイメージングすることは、技術的な理由から困難であり、生命科学における科学的進歩の速度を制限します。したがって、単一の画像チャネルで取得された、つまり時間多重化なしで取得された重畳生物学的構造を分離 (分解) する計算方法は、多大な影響を与えるでしょう。ここでは、トレーニング済みの画像分解専用のアプローチである μSplit を紹介します。トレーニング中に大きな画像パッチを使用すると、通常のディープ アーキテクチャを使用して最良の結果が得られることがわかりました。これにより、メモリ消費が制限要因となり、パフォーマンスがさらに向上します。したがって、小さな入力パッチで適切に動作する深いネットワークをトレーニングするためのメモリ効率の良い方法である横方向コンテキスト化 (LC) を導入します。後のレイヤーでは、追加の画像コンテキストが適切に低い解像度で供給されます。 LC を階層型オートエンコーダーおよび階層型 VAE と統合します。 μSplit を 5 つの分解タスクに適用します。1 つは合成データセット、もう 4 つは 2 つの実際の顕微鏡データセットから派生したものです。 LC は一貫して SOTA の結果を達成すると同時に、LC を使用しない競合アーキテクチャよりも必要な GPU メモリが大幅に少なくなります。 LC を導入すると、上記のバニラ アーキテクチャで得られた結果は平均で 2.36 dB (PSNR デシベル) 向上し、個々の改善は 0.9 ~ 3.4 dB の範囲です。
Light microscopy is routinely used to look at living cells and biological tissues at sub-cellular resolution. Components of the imaged cells can be highlighted using fluorescent labels, allowing biologists to investigate individual structures of interest. Given the complexity of biological processes, it is typically necessary to look at multiple structures simultaneously, typically via a temporal multiplexing scheme. Still, imaging more than 3 or 4 structures in this way is difficult for technical reasons and limits the rate of scientific progress in the life sciences. Hence, a computational method to split apart (decompose) superimposed biological structures acquired in a single image channel, i.e. without temporal multiplexing, would have tremendous impact. Here we present μSplit, a dedicated approach for trained image decomposition. We find that best results using regular deep architectures is achieved when large image patches are used during training, making memory consumption the limiting factor to further improving performance. We therefore introduce lateral contextualization (LC), a memory efficient way to train deep networks that operate well on small input patches. In later layers, additional image context is fed at adequately lowered resolution. We integrate LC with Hierarchical Autoencoders and Hierarchical VAEs.For the latter, we also present a modified ELBO loss and show that it enables sound VAE training. We apply μSplit to five decomposition tasks, one on a synthetic dataset, four others derived from two real microscopy datasets. LC consistently achieves SOTA results, while simultaneously requiring considerably less GPU memory than competing architectures not using LC. When introducing LC, results obtained with the above-mentioned vanilla architectures do on average improve by 2.36 dB (PSNR decibel), with individual improvements ranging from 0.9 to 3.4 dB.