arXiv reaDer
深く同等なカプセルネットワークの構築
Building Deep, Equivariant Capsule Networks
  Capsuleネットワークは、レイヤーのパラメーターが高価な性質と、証明可能な等分散性保証の一般的な不足によって制約されます。これを改善することを目的としたカプセルネットワークのバリエーションを紹介します。連続するレイヤーのカプセル間のすべてのペアワイズ部分全体の関係を学習するのは非効率的であると認識しています。さらに、予測ネットワークとルーティングメカニズムの選択が両方とも等分散の鍵であることも認識しています。これらに基づいて、各レイヤーのカプセルタイプごとに、空間変化(SOV)と呼ばれる姿勢変化の多様体を射影的にエンコードすることを学習するカプセルネットワークの代替フレームワークを提案します。これは、グループ変換のグリッド上で定義された訓練可能な同変関数を使用して行われます。したがって、ルーティングの予測フェーズでは、対応する機能を使用して、より深いカプセルのSOVに投影します。このアイデアの具体的な具体化として、またパラメータ共有の増加のメリットを享受するために、このフェーズでは、より浅いカプセルのタイプ同種のグループ等変畳み込みを使用します。また、次数中心性に基づいた同変ルーティングメカニズムも導入します。一般モデルのこの特定のインスタンスは等変であり、したがって、変換の下で入力の構成表現を保持することを示します。標準的なオブジェクト分類データセットでいくつかの実験を行い、いくつかのカプセルベースラインに対するモデルの一般的なパフォーマンスだけでなく、変換堅牢性の向上を示します。
Capsule networks are constrained by the parameter-expensive nature of their layers, and the general lack of provable equivariance guarantees. We present a variation of capsule networks that aims to remedy this. We identify that learning all pair-wise part-whole relationships between capsules of successive layers is inefficient. Further, we also realise that the choice of prediction networks and the routing mechanism are both key to equivariance. Based on these, we propose an alternative framework for capsule networks that learns to projectively encode the manifold of pose-variations, termed the space-of-variation (SOV), for every capsule-type of each layer. This is done using a trainable, equivariant function defined over a grid of group-transformations. Thus, the prediction-phase of routing involves projection into the SOV of a deeper capsule using the corresponding function. As a specific instantiation of this idea, and also in order to reap the benefits of increased parameter-sharing, we use type-homogeneous group-equivariant convolutions of shallower capsules in this phase. We also introduce an equivariant routing mechanism based on degree-centrality. We show that this particular instance of our general model is equivariant, and hence preserves the compositional representation of an input under transformations. We conduct several experiments on standard object-classification datasets that showcase the increased transformation-robustness, as well as general performance, of our model to several capsule baselines.
updated: Thu Sep 26 2019 04:26:10 GMT+0000 (UTC)
published: Sun Aug 04 2019 09:14:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト