arXiv reaDer
Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks
この研究プロジェクトでは、深層学習の音色転送への適用を調査します。この場合、ソースオーディオの音色を、品質の低下を最小限に抑えてターゲットオーディオの音色に変換できます。採用されたアプローチは、VariationalAutoencodersとGenerativeAdversarial Networksを組み合わせて、ソースオーディオの意味のある表現を構築し、ターゲットオーディオの現実的な世代を生成し、スピーカー間で音声音色を転送するためのFlickr 8k Audioデータセットと、ミュージカルを転送するためのURMPデータセットに適用されます。楽器間の音色。さらに、採用されたアプローチのバリエーションがトレーニングされ、一般化されたパフォーマンスがメトリックSSIM(構造的類似性インデックス)とFAD(フレシェオーディオ距離)を使用して比較されます。多対多のアプローチは、再構築機能の点で1対1のアプローチに取って代わり、ボトルネックの残余ブロック設計よりも基本的なものを採用する方が、潜在空間に関するコンテンツ情報を充実させるのに適していることがわかりました。また、周期的損失が変分オートエンコーダーアプローチとバニラオートエンコーダーアプローチのどちらを採用するかについての決定は、モデルの再構築的および敵対的な変換の側面に大きな影響を与えないことがわかりました。
This research project investigates the application of deep learning to timbre transfer, where the timbre of a source audio can be converted to the timbre of a target audio with minimal loss in quality. The adopted approach combines Variational Autoencoders with Generative Adversarial Networks to construct meaningful representations of the source audio and produce realistic generations of the target audio and is applied to the Flickr 8k Audio dataset for transferring the vocal timbre between speakers and the URMP dataset for transferring the musical timbre between instruments. Furthermore, variations of the adopted approach are trained, and generalised performance is compared using the metrics SSIM (Structural Similarity Index) and FAD (Frechét Audio Distance). It was found that a many-to-many approach supersedes a one-to-one approach in terms of reconstructive capabilities, and that the adoption of a basic over a bottleneck residual block design is more suitable for enriching content information about a latent space. It was also found that the decision on whether cyclic loss takes on a variational autoencoder or vanilla autoencoder approach does not have a significant impact on reconstructive and adversarial translation aspects of the model.
updated: Sun Oct 10 2021 16:22:00 GMT+0000 (UTC)
published: Sun Sep 05 2021 15:06:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト