本稿では、作曲の構成要素として使用するために、ユーザーが録音/提供した音声の音楽的アウトラインを生成する新しい作曲ツールを提案します。このツールを使用すると、ユーザーは自分のスピーチを使用して音楽素材を生成しながら、録音したスピーチと結果の音楽との直接的なつながりを聞くことができます。このツールは、提案されたパイプラインに基づいて構築されています。このパイプラインは、音声ベースの信号処理で始まり、その後、いくつかの単純な音楽ヒューリスティックが適用され、最後に、これらの前処理された信号は、新しい音楽タスクでトレーニングされたTransformerモデルを通過します。ツールを使用してミュージシャンが作成した音楽の例を通じて、トレーニングにペアのデータセットを必要としないパイプラインの有効性を説明します。
In this paper, we propose a new compositional tool that will generate a musical outline of speech recorded/provided by the user for use as a musical building block in their compositions. The tool allows any user to use their own speech to generate musical material, while still being able to hear the direct connection between their recorded speech and the resulting music. The tool is built on our proposed pipeline. This pipeline begins with speech-based signal processing, after which some simple musical heuristics are applied, and finally these pre-processed signals are passed through Transformer models trained on new musical tasks. We illustrate the effectiveness of our pipeline -- which does not require a paired dataset for training -- through examples of music created by musicians making use of our tool.