arXiv reaDer
コラボレーティブインテリジェンスのための潜在空間運動の分析
Analysis of Latent-Space Motion for Collaborative Intelligence
ディープニューラルネットワーク(DNN)への入力がビデオ信号の場合、モデルの中間層で一連の特徴テンソルが生成されます。入力ビデオの隣接するフレームがモーションによって関連付けられている場合、自然な質問は、「対応する特徴テンソル間の関係は何ですか?」です。オプティカルフローに対する一般的なDNN操作の影響を分析することにより、特徴テンソルの各チャネルに存在するモーションが、入力モーションのスケーリングされたバージョンにほぼ等しいことを示します。解析は、一般的なモーションモデルを利用した実験を通じて検証されます。これらの結果は、特徴テンソルのシーケンスを圧縮またはさらに分析する必要があるコラボレーションインテリジェンスアプリケーションで役立ちます。
When the input to a deep neural network (DNN) is a video signal, a sequence of feature tensors is produced at the intermediate layers of the model. If neighboring frames of the input video are related through motion, a natural question is, "what is the relationship between the corresponding feature tensors?" By analyzing the effect of common DNN operations on optical flow, we show that the motion present in each channel of a feature tensor is approximately equal to the scaled version of the input motion. The analysis is validated through experiments utilizing common motion models. %These results will be useful in collaborative intelligence applications where sequences of feature tensors need to be compressed or further analyzed.
updated: Mon Feb 08 2021 06:22:07 GMT+0000 (UTC)
published: Mon Feb 08 2021 06:22:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト