人間のユーザーがビデオを探索、編集、効率的に送信できるようにするビデオ固有のオートエンコーダーを研究しています。以前の研究では、これらの問題(およびサブ問題)を独自に検討し、さまざまな定式化を提案してきました。この作業では、特定のビデオの複数のフレームで単純なオートエンコーダーを(最初から)トレーニングします。 (1)ビデオ固有のオートエンコーダによって学習された潜在コードは、そのビデオの空間的および時間的特性をキャプチャします。 (2)オートエンコーダーは、サンプル外の入力をビデオ固有の多様体に投影できます。これらの2つのプロパティにより、1つの学習された表現を使用して、ビデオを探索、編集、および効率的に送信できます。たとえば、潜在コードの線形操作により、ユーザーはビデオのコンテンツを視覚化できます。ビデオの潜在コードとマニフォールドプロジェクションを関連付けることで、ユーザーは必要な編集を行うことができます。潜在コードとマニフォールドプロジェクションを補間することで、ネットワークを介したスパース低解像度フレームの送信が可能になります。
We study video-specific autoencoders that allow a human user to explore, edit, and efficiently transmit videos. Prior work has independently looked at these problems (and sub-problems) and proposed different formulations. In this work, we train a simple autoencoder (from scratch) on multiple frames of a specific video. We observe: (1) latent codes learned by a video-specific autoencoder capture spatial and temporal properties of that video; and (2) autoencoders can project out-of-sample inputs onto the video-specific manifold. These two properties allow us to explore, edit, and efficiently transmit a video using one learned representation. For e.g., linear operations on latent codes allow users to visualize the contents of a video. Associating latent codes of a video and manifold projection enables users to make desired edits. Interpolating latent codes and manifold projection allows the transmission of sparse low-res frames over a network.