インターネットでは、画像は静的ではなくなりました。それらは動的コンテンツになりました。カメラと使いやすい編集ソフトウェアを備えたスマートフォンが利用できるため、画像をオンザフライでリミックス(つまり、編集、編集、他のコンテンツとの再結合)でき、世界中の視聴者が繰り返して処理する。デジタルアートからミームまで、時間の経過に伴う画像の進化は、デジタルヒューマニスト、社会科学者、メディアフォレンジックの専門家にとって重要な研究トピックになっています。ただし、コンピュータビジョンの一般的なデータセットは静的コンテンツで構成されているため、リミックスされたコンテンツを分析するための自動アルゴリズムの開発は限られています。このホワイトペーパーでは、Motif Miningのアイデアを紹介します。これは、ラベルなしおよび並べ替えられていないデータの大規模なコレクションでリミックスされた画像コンテンツを検索して要約するプロセスです。このホワイトペーパーでは、このアイデアを形式化し、リファレンス実装を紹介します。実験は、ロシアとウクライナの紛争における情報戦争に関連して新たに収集されたセットを含む、3つのミームスタイルのデータセットで実施されます。提案されたモチーフマイニングアプローチは、同様のアプローチと比較した場合、人間の観察者の好みや期待とより密接に一致する、関連するリミックスコンテンツを識別することができます。
On the internet, images are no longer static; they have become dynamic content. Thanks to the availability of smartphones with cameras and easy-to-use editing software, images can be remixed (i.e., redacted, edited, and recombined with other content) on-the-fly and with a world-wide audience that can repeat the process. From digital art to memes, the evolution of images through time is now an important topic of study for digital humanists, social scientists, and media forensics specialists. However, because typical data sets in computer vision are composed of static content, the development of automated algorithms to analyze remixed content has been limited. In this paper, we introduce the idea of Motif Mining - the process of finding and summarizing remixed image content in large collections of unlabeled and unsorted data. In this paper, this idea is formalized and a reference implementation is introduced. Experiments are conducted on three meme-style data sets, including a newly collected set associated with the information war in the Russo-Ukrainian conflict. The proposed motif mining approach is able to identify related remixed content that, when compared to similar approaches, more closely aligns with the preferences and expectations of human observers.