3D超音波(US)は、その豊富な診断情報のために広く使用されています。しかし、視野が限られていることで批判されています。 3Dフリーハンドの米国再建は、広範囲のフリーフォームスキャンを提供することで問題に対処する上で有望です。既存の深層学習ベースの方法は、スキルシーケンスの基本的なケースにのみ焦点を当てており、モデルはトレーニングデータに大きく依存しています。実際の臨床診療におけるシーケンスは、多様なスキルの組み合わせであり、複雑なスキャンパスを持っています。さらに、深いモデルは、トレーニングケースだけに適合するのではなく、より優れた堅牢性を得るために、事前の知識を備えたテストケースに適応する必要があります。この論文では、複雑なスキルシーケンスを考慮したセンサーレスフリーハンド3DUS再構成への新しいアプローチを提案します。私たちの貢献は3つあります。まず、微分可能な再構成アルゴリズムを設計することにより、新しいオンライン学習フレームワークを進化させます。セクションシーケンスから再構成されたボリュームまで、エンドツーエンドの最適化を実現します。次に、テストデータ自体によって再構築されたコンテキスト情報を探索するために、自己教師あり学習方法が開発され、モデルの認識が促進されます。第三に、事前の形状の有効性に触発されて、再構成されたボリュームで事前の解剖学的形状の学習を強化するための敵対的トレーニングも導入します。テストデータのコンテキストと構造的な手がかりをマイニングすることにより、オンライン学習メソッドは、複雑なスキルシーケンスを処理するようにモデルを駆動できます。股関節米国および胎児米国のデータセットの発達性異形成に関する実験結果は、提案された方法が、シフトエラーおよび経路の類似性に関して最先端の方法よりも優れている可能性があることを示しています。
3D ultrasound (US) is widely used for its rich diagnostic information. However, it is criticized for its limited field of view. 3D freehand US reconstruction is promising in addressing the problem by providing broad range and freeform scan. The existing deep learning based methods only focus on the basic cases of skill sequences, and the model relies on the training data heavily. The sequences in real clinical practice are a mix of diverse skills and have complex scanning paths. Besides, deep models should adapt themselves to the testing cases with prior knowledge for better robustness, rather than only fit to the training cases. In this paper, we propose a novel approach to sensorless freehand 3D US reconstruction considering the complex skill sequences. Our contribution is three-fold. First, we advance a novel online learning framework by designing a differentiable reconstruction algorithm. It realizes an end-to-end optimization from section sequences to the reconstructed volume. Second, a self-supervised learning method is developed to explore the context information that reconstructed by the testing data itself, promoting the perception of the model. Third, inspired by the effectiveness of shape prior, we also introduce adversarial training to strengthen the learning of anatomical shape prior in the reconstructed volume. By mining the context and structural cues of the testing data, our online learning methods can drive the model to handle complex skill sequences. Experimental results on developmental dysplasia of the hip US and fetal US datasets show that, our proposed method can outperform the start-of-the-art methods regarding the shift errors and path similarities.