arXiv reaDer
RipViz: パスラインの動作を学習してリップカレントを見つける
RipViz: Finding Rip Currents by Learning Pathline Behavior
静的なビデオから離岸流を抽出するための、機械学習とフロー分析のハイブリッド機能検出方法、RipViz を紹介します。離岸流は、ビーチに行く人を海に引きずり出す危険な強い流れです。ほとんどの人は、それらに気づいていないか、それらがどのように見えるかを知りません.場合によっては、ライフガードなどの訓練を受けた職員でさえ、それらを特定するのが困難です。 RipViz は、ソース ビデオにオーバーレイされたリッピング位置のシンプルで理解しやすい視覚化を生成します。 RipViz では、最初に、オプティカル フローを使用して静止ビデオから非定常 2D ベクトル フィールドを取得します。各ピクセルの動きは、時間の経過とともに分析されます。各シード ポイントでは、単一の長いパスラインではなく、短いパスラインのシーケンスがビデオのフレーム全体でトレースされ、波の活動の準周期的な流れの挙動をより適切にキャプチャします。ビーチ、サーフ ゾーン、および周辺エリアでの動きのために、これらのパスラインは依然として非常に雑然としていて、理解できないように見える場合があります。さらに、一般の聴衆はパスラインに精通しておらず、パスラインを解釈する方法を知らない可能性があります.これに対処するために、離岸流を通常の流れにおける異常な流れとして扱います。通常の流れの動作について学習するために、通常の海、前景、および背景の動きからのパスライン シーケンスを使用して LSTM オートエンコーダーをトレーニングします。テスト時に、トレーニング済みの LSTM オートエンコーダーを使用して、異常なパスライン (つまり、リップ ゾーンにあるパスライン) を検出します。このような異常なパスラインの起点は、ビデオの過程で、リップ ゾーン内のポイントとして表示されます。 RipViz は完全に自動化されており、ユーザーの入力は必要ありません。ドメインの専門家からのフィードバックは、RipViz がより広く使用される可能性があることを示唆しています。
We present a hybrid machine learning and flow analysis feature detection method, RipViz, to extract rip currents from stationary videos. Rip currents are dangerous strong currents that can drag beachgoers out to sea. Most people are either unaware of them or do not know what they look like. In some instances, even trained personnel such as lifeguards have difficulty identifying them. RipViz produces a simple, easy to understand visualization of rip location overlaid on the source video. With RipViz, we first obtain an unsteady 2D vector field from the stationary video using optical flow. Movement at each pixel is analyzed over time. At each seed point, sequences of short pathlines, rather a single long pathline, are traced across the frames of the video to better capture the quasi-periodic flow behavior of wave activity. Because of the motion on the beach, the surf zone, and the surrounding areas, these pathlines may still appear very cluttered and incomprehensible. Furthermore, lay audiences are not familiar with pathlines and may not know how to interpret them. To address this, we treat rip currents as a flow anomaly in an otherwise normal flow. To learn about the normal flow behavior, we train an LSTM autoencoder with pathline sequences from normal ocean, foreground, and background movements. During test time, we use the trained LSTM autoencoder to detect anomalous pathlines (i.e., those in the rip zone). The origination points of such anomalous pathlines, over the course of the video, are then presented as points within the rip zone. RipViz is fully automated and does not require user input. Feedback from domain expert suggests that RipViz has the potential for wider use.
updated: Sat Feb 25 2023 04:34:14 GMT+0000 (UTC)
published: Sat Feb 25 2023 04:34:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト