arXiv reaDer
半透明ワームの 3 D 形状再構成
3D shape reconstruction of semi-transparent worms
通常、3D 形状の再構成では、被写体の複数の画像でオブジェクトの特徴やテクスチャを識別する必要があります。被写体が半透明で、焦点が合ったり外れたりする場合、このアプローチは実行できません。ここでは、画像と比較するために適応的なぼかしと透明度を使用して候補形状をレンダリングすることにより、これらの課題を克服します。光学特性が絶えず変化する 3D の複雑な流体を自由に探索する顕微鏡線虫 Caenorhabditis elegans をケーススタディとして使用します。生物学的に情報に基づいた制約と正則化を自然に許可する固有のパラメーター化を使用して、細いワームを 3D 曲線としてモデル化します。変化する光学系を説明するために、2D 投影から画像を構築し、生の画像と比較してピクセル単位のエラーを生成し、勾配降下法を使用して曲線、カメラ、およびレンダラーのパラメーターを共同で更新する、新しい微分可能なレンダラーを開発します。この方法は、流体に閉じ込められた気泡や汚れなどの干渉に対して堅牢であり、複雑な姿勢のシーケンスを通じて一貫性を保ち、ぼやけた画像から信頼できる推定値を回復し、C. elegans を 3D で追跡する以前の試みを大幅に改善します。私たちの結果は、グラウンド トゥルース データがない複雑な物理環境における形状推定への直接的なアプローチの可能性を示しています。
3D shape reconstruction typically requires identifying object features or textures in multiple images of a subject. This approach is not viable when the subject is semi-transparent and moving in and out of focus. Here we overcome these challenges by rendering a candidate shape with adaptive blurring and transparency for comparison with the images. We use the microscopic nematode Caenorhabditis elegans as a case study as it freely explores a 3D complex fluid with constantly changing optical properties. We model the slender worm as a 3D curve using an intrinsic parametrisation that naturally admits biologically-informed constraints and regularisation. To account for the changing optics we develop a novel differentiable renderer to construct images from 2D projections and compare against raw images to generate a pixel-wise error to jointly update the curve, camera and renderer parameters using gradient descent. The method is robust to interference such as bubbles and dirt trapped in the fluid, stays consistent through complex sequences of postures, recovers reliable estimates from blurry images and provides a significant improvement on previous attempts to track C. elegans in 3D. Our results demonstrate the potential of direct approaches to shape estimation in complex physical environments in the absence of ground-truth data.
updated: Fri Apr 28 2023 13:29:36 GMT+0000 (UTC)
published: Fri Apr 28 2023 13:29:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト