この作業では、これらの変換のモデルを与えずに、純粋にデータから、深いネットワークで入力変換への同変を達成する方法を調査します。たとえば、畳み込みニューラルネットワーク(CNN)は、画像の変換と同変です。これは、(ピクセルを垂直方向または水平方向にシフトすることで)簡単にモデル化できる変換です。面外回転などの他の変換では、単純な分析モデルは認められません。埋め込みが、平行移動、回転、色の変化など、任意の同変関係のセットに同時に従うオートエンコーダアーキテクチャを提案します。これは、入力画像を取得し、以前は観察されなかった特定の量で変換されたバージョンを生成できることを意味します(たとえば、同じオブジェクトの異なる視点、または色の変化)。多くの(非幾何学的な)変換に拡張されているにもかかわらず、私たちのモデルは、並進同変の特殊なケースでは正確にCNNに還元されます。等分散性は、ディープネットワークの解釈可能性と堅牢性にとって重要であり、いくつかの合成データセットと実際のデータセットで入力画像の変換バージョンを正常に再レンダリングした結果と、オブジェクトのポーズ推定の結果を示します。
In this work we investigate how to achieve equivariance to input transformations in deep networks, purely from data, without being given a model of those transformations. Convolutional Neural Networks (CNNs), for example, are equivariant to image translation, a transformation that can be easily modelled (by shifting the pixels vertically or horizontally). Other transformations, such as out-of-plane rotations, do not admit a simple analytic model. We propose an auto-encoder architecture whose embedding obeys an arbitrary set of equivariance relations simultaneously, such as translation, rotation, colour changes, and many others. This means that it can take an input image, and produce versions transformed by a given amount that were not observed before (e.g. a different point of view of the same object, or a colour variation). Despite extending to many (even non-geometric) transformations, our model reduces exactly to a CNN in the special case of translation-equivariance. Equivariances are important for the interpretability and robustness of deep networks, and we demonstrate results of successful re-rendering of transformed versions of input images on several synthetic and real datasets, as well as results on object pose estimation.