コンピュータビジョンと機械学習における多くの測定または観察は、非ユークリッドデータとして現れます。最近の提案(球形CNNなど)は、多くのディープニューラルネットワークアーキテクチャを多様体値データに拡張し、これによりパフォーマンスが大幅に向上することがよくありますが、多様体データの生成モデルに関する文献は非常に少ないです。部分的にこのギャップのために、多様体値データのモダリティ転送/変換モデルもありませんが、生成モデルに基づく多くのそのような方法が自然画像に利用できます。この論文は、脳イメージングの必要性に動機付けられたこのギャップに対処します-そうすることで、特定の生成モデル(およびモダリティ転送の生成モデル)の動作範囲を自然画像から多様体値測定の画像に拡大します。私たちの主な結果は、あるタイプの多様体値測定のフィールドの情報を別のタイプに合成できるGLOW(フローベースの可逆生成モデル)の2ストリームバージョンの設計です。理論的には、多様体値データ用に3種類の可逆層を導入します。これらは、フローベースの生成モデル(GLOWなど)の機能に類似しているだけでなく、主要な利点も保持しています(ヤコビアンの行列式は簡単です)。計算する)。実験では、ヒューマンコネクトームプロジェクト(HCP)の大規模なデータセットで、拡散テンソル画像(DTI)から方向分布関数(ODF)のフィールドの脳画像を確実かつ正確に再構築できる有望な結果を示します。取得時間は5倍速くなりますが、角度分解能が低下します。
Many measurements or observations in computer vision and machine learning manifest as non-Euclidean data. While recent proposals (like spherical CNN) have extended a number of deep neural network architectures to manifold-valued data, and this has often provided strong improvements in performance, the literature on generative models for manifold data is quite sparse. Partly due to this gap, there are also no modality transfer/translation models for manifold-valued data whereas numerous such methods based on generative models are available for natural images. This paper addresses this gap, motivated by a need in brain imaging -- in doing so, we expand the operating range of certain generative models (as well as generative models for modality transfer) from natural images to images with manifold-valued measurements. Our main result is the design of a two-stream version of GLOW (flow-based invertible generative models) that can synthesize information of a field of one type of manifold-valued measurements given another. On the theoretical side, we introduce three kinds of invertible layers for manifold-valued data, which are not only analogous to their functionality in flow-based generative models (e.g., GLOW) but also preserve the key benefits (determinants of the Jacobian are easy to calculate). For experiments, on a large dataset from the Human Connectome Project (HCP), we show promising results where we can reliably and accurately reconstruct brain images of a field of orientation distribution functions (ODF) from diffusion tensor images (DTI), where the latter has a 5× faster acquisition time but at the expense of worse angular resolution.