arXiv reaDer
Automated Composition of Picture-Synched Music Soundtracks for Movies
  ビデオや映画の画像に同期した音楽のサウンドトラックを自動的に作成するシステムの実装と初期の結果について説明します。 「picture-synched」というフレーズを使用して、自動構成された音楽の構造が入力ムービーの視覚イベントによって決定されることを意味します。つまり、最終音楽は視覚イベントおよびカットトランジションやショット内キーなどの機能に同期します。フレームイベント。当社のシステムは、自動化されたビデオ分析とコンピューター生成の音楽合成技術を組み合わせて、ビデオ入力に応じて独自のサウンドトラックを作成します。また、人間の作曲家が絵に合う音楽を作成するためのコンピューター化された置換を作成する最初のステップと考えることができます-映画のロックされた編集。映画のビデオ情報からのみ機能し、ビデオ分析技術を使用して入力ビデオから重要な機能を抽出し、それを機械学習ベースの音楽生成ツールに入力して、音楽を一から作成します。結果のサウンドトラックは、シーン遷移マーカーやシーンレベルのエネルギー値などのビデオ機能に関連付けられており、入力ビデオに固有のものです。ここで説明するシステムは予備的な概念実証にすぎませんが、システムの出力に対するユーザーの評価は肯定的です。
We describe the implementation of and early results from a system that automatically composes picture-synched musical soundtracks for videos and movies. We use the phrase "picture-synched" to mean that the structure of the automatically composed music is determined by visual events in the input movie, i.e. the final music is synchronised to visual events and features such as cut transitions or within-shot key-frame events. Our system combines automated video analysis and computer-generated music-composition techniques to create unique soundtracks in response to the video input, and can be thought of as an initial step in creating a computerised replacement for a human composer writing music to fit the picture-locked edit of a movie. Working only from the video information in the movie, key features are extracted from the input video, using video analysis techniques, which are then fed into a machine-learning-based music generation tool, to compose a piece of music from scratch. The resulting soundtrack is tied to video features, such as scene transition markers and scene-level energy values, and is unique to the input video. Although the system we describe here is only a preliminary proof-of-concept, user evaluations of the output of the system have been positive.
updated: Sat Oct 19 2019 13:51:57 GMT+0000 (UTC)
published: Sat Oct 19 2019 13:51:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト