arXiv reaDer
カウントのためのConvNets:スティールパンドラムの一時的現象のオブジェクト検出
ConvNets for Counting: Object Detection of Transient Phenomena in Steelpan Drums
電子スペックルパターン干渉法(ESPI)で照らされたカリブ海のスティールパンドラムの過渡振動の高速ビデオ記録のフレームで、楕円形の腹領域の干渉縞をカウントするために、畳み込みニューラルネットワークから構築されたオブジェクト検出器をトレーニングします。私たちのモデルによって提供される注釈は、交感神経振動モードの発達を追跡することによって、そのようなドラムの時間依存の振る舞いの理解に貢献することを目的としています。このシステムは、Zooniverse Steelpan VibrationsProjectから取得したクラウドソーシングによる人間の注釈付き画像のデータセットでトレーニングされています。人間が注釈を付けた画像の数が少なく、注釈タスクがあいまいであるため、生成的敵対的ネットワークを使用したスタイル転送によってプロパティが実際の画像と一致している合成画像の大規模なコーパスでモデルを評価します。モデルを何千ものラベルのないビデオフレームに適用して、これらのドラムストライクのオーディオ録音と一致する振動を測定します。予期しない結果の1つは、高オクターブ音の交感神経振動が、対応する2次高調波音の音の強さの上昇に大幅に先行することです。これに関与するメカニズムは未確認のままです。このペーパーは、主に予測モデルの開発に関するものです。スティールパンの画像のさらなる調査とより深い物理的洞察は、そのさらなる応用を待っています。
We train an object detector built from convolutional neural networks to count interference fringes in elliptical antinode regions in frames of high-speed video recordings of transient oscillations in Caribbean steelpan drums illuminated by electronic speckle pattern interferometry (ESPI). The annotations provided by our model aim to contribute to the understanding of time-dependent behavior in such drums by tracking the development of sympathetic vibration modes. The system is trained on a dataset of crowdsourced human-annotated images obtained from the Zooniverse Steelpan Vibrations Project. Due to the small number of human-annotated images and the ambiguity of the annotation task, we also evaluate the model on a large corpus of synthetic images whose properties have been matched to the real images by style transfer using a Generative Adversarial Network. Applying the model to thousands of unlabeled video frames, we measure oscillations consistent with audio recordings of these drum strikes. One unanticipated result is that sympathetic oscillations of higher-octave notes significantly precede the rise in sound intensity of the corresponding second harmonic tones; the mechanism responsible for this remains unidentified. This paper primarily concerns the development of the predictive model; further exploration of the steelpan images and deeper physical insights await its further application.
updated: Tue Sep 07 2021 00:56:51 GMT+0000 (UTC)
published: Mon Feb 01 2021 04:41:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト