arXiv reaDer
OrthoGAN:歯列矯正の可視化のための高精度画像生成
OrthoGAN:High-Precision Image Generation for Teeth Orthodontic Visualization
患者さんは、矯正治療後の歯の状態に気を配っています。歯科矯正医は通常、元の笑顔の画像に基づいて期待の動きを説明しますが、これは説得力がありません。深層学習生成モデルの成長は、この状況を変えます。矯正治療の結果を視覚化し、患者が将来の歯と顔の外観を予測するのに役立ちます。以前の研究は主にプロファイル レベルでの 2D または 3D 仮想治療結果 (VTO) に焦点を当てていましたが、正面顔画像で治療結果をシミュレートする問題は十分に調査されていません。この論文では、正面顔画像で仮想歯列効果をシミュレートするための効率的で正確なシステムを構築します。私たちのシステムは、目に見える位置異常の歯を持つ患者の正面顔画像と患者の 3D スキャンされた歯モデルを入力として取り、医師からの特定の歯列矯正計画手順 (つまり、翻訳の仕様) を考慮して、患者の歯の視覚的な結果を徐々に生成します。および個々の歯の回転)。マルチ モーダル エンコーダー デコーダー ベースの生成モデルを設計して、同一性を維持する正面顔画像と整列した歯を合成します。さらに、元の画像の色情報を使用して矯正結果を最適化し、結果をより自然なものにします。私たちは、大規模な定性および臨床実験を実施し、また、方法を検証するためのパイロット研究も行っています。
Patients take care of what their teeth will be like after the orthodontics. Orthodontists usually describe the expectation movement based on the original smile images, which is unconvincing. The growth of deep-learning generative models change this situation. It can visualize the outcome of orthodontic treatment and help patients foresee their future teeth and facial appearance. While previous studies mainly focus on 2D or 3D virtual treatment outcome (VTO) at a profile level, the problem of simulating treatment outcome at a frontal facial image is poorly explored. In this paper, we build an efficient and accurate system for simulating virtual teeth alignment effects in a frontal facial image. Our system takes a frontal face image of a patient with visible malpositioned teeth and the patient's 3D scanned teeth model as input, and progressively generates the visual results of the patient's teeth given the specific orthodontics planning steps from the doctor (i.e., the specification of translations and rotations of individual tooth). We design a multi-modal encoder-decoder based generative model to synthesize identity-preserving frontal facial images with aligned teeth. In addition, the original image color information is used to optimize the orthodontic outcomes, making the results more natural. We conduct extensive qualitative and clinical experiments and also a pilot study to validate our method.
updated: Thu Dec 29 2022 03:12:47 GMT+0000 (UTC)
published: Thu Dec 29 2022 03:12:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト