arXiv reaDer
OnUVS: 高忠実度の超音波ビデオ合成のためのオンライン機能デカップリング フレームワーク
OnUVS: Online Feature Decoupling Framework for High-Fidelity Ultrasound Video Synthesis
超音波(US)イメージングは​​臨床現場で不可欠です。特定の病気を診断するには、超音波検査者が対応する動的解剖学的構造を観察して包括的な情報を収集する必要があります。しかし、米国の特定のビデオ症例の利用可能性が限られているため、対応する疾患を特定する際の教育が困難になり、そのような症例の検出率に影響を与える可能性があります。米国のビデオの合成は、この問題に対する有望な解決策となる可能性があります。それにもかかわらず、画像の忠実性を維持しながら、動的解剖学的構造の複雑な動きを正確にアニメーション化することは困難です。これに対処するために、高忠実度 US ビデオ合成用の OnUVS と呼ばれる新しいオンライン機能分離フレームワークを紹介します。私たちのハイライトは 4 つの側面に要約できます。まず、弱教師トレーニング戦略を通じて解剖学的情報をキーポイント学習に導入し、その結果、ラベル付けの負担を最小限に抑えながら、解剖学的完全性と動きの保存が向上しました。次に、US 画像の完全性とテクスチャ情報をより適切に保存するために、ジェネレータ内のコンテンツとテクスチャ特徴を分離するデュアル デコーダを実装しました。 3 番目に、包括的な範囲の視覚的手がかりを抽出するために複数の特徴識別器を採用し、それによって生成されたビデオの鮮明さと詳細を強化しました。 4 番目に、生成されたビデオの流動性を高めるために、オンライン学習中にキーポイントの動作軌跡を制限しました。社内の心エコー検査と骨盤底の US ビデオに関する当社の検証とユーザー調査により、OnUVS が US ビデオを高い忠実度で合成することがわかりました。
Ultrasound (US) imaging is indispensable in clinical practice. To diagnose certain diseases, sonographers must observe corresponding dynamic anatomic structures to gather comprehensive information. However, the limited availability of specific US video cases causes teaching difficulties in identifying corresponding diseases, which potentially impacts the detection rate of such cases. The synthesis of US videos may represent a promising solution to this issue. Nevertheless, it is challenging to accurately animate the intricate motion of dynamic anatomic structures while preserving image fidelity. To address this, we present a novel online feature-decoupling framework called OnUVS for high-fidelity US video synthesis. Our highlights can be summarized by four aspects. First, we introduced anatomic information into keypoint learning through a weakly-supervised training strategy, resulting in improved preservation of anatomical integrity and motion while minimizing the labeling burden. Second, to better preserve the integrity and textural information of US images, we implemented a dual-decoder that decouples the content and textural features in the generator. Third, we adopted a multiple-feature discriminator to extract a comprehensive range of visual cues, thereby enhancing the sharpness and fine details of the generated videos. Fourth, we constrained the motion trajectories of keypoints during online learning to enhance the fluidity of generated videos. Our validation and user studies on in-house echocardiographic and pelvic floor US videos showed that OnUVS synthesizes US videos with high fidelity.
updated: Wed Aug 16 2023 10:16:50 GMT+0000 (UTC)
published: Wed Aug 16 2023 10:16:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト