arXiv reaDer
すべてのドメインでカプセルをルーティングするためのアルゴリズム
An Algorithm for Routing Capsules in All Domains
 カプセルネットワークでの最近の作業に基づいて、使用する正味の利益と以前のレイヤーからの入力カプセルを無視する正味コストの関数として、レイヤー内の出力カプセルをアクティブ化する新しい汎用形式の「合意によるルーティング」を提案します。ルーティングアルゴリズムの有用性を示すために、異なるドメインに適用する2つのカプセルネットワークを紹介します。ビジョンと言語です。最初のネットワークは、以前のカプセルモデルよりも少ないパラメーターと1桁少ないトレーニングで、smallNORB視覚認識タスクで99.1%の新しい最先端の精度を達成し、「リバースグラフィックス。」 2番目のネットワークは、スタンフォード感情ツリーバンクのルート文に関する新しい最先端の精度を実現します。事前学習済みのトランスフォーマーからのフリーズ埋め込みを次のようにルーティングするシングルタスクモデルで、きめの細かい58.5%、バイナリラベルの95.6%カプセル。両方のドメインで、同じ体制でトレーニングします。コードは、レプリケーション手順とともにhttps://github.com/glassroom/heinsen_routingで入手できます。
Building on recent work on capsule networks, we propose a new, general-purpose form of "routing by agreement" that activates output capsules in a layer as a function of their net benefit to use and net cost to ignore input capsules from earlier layers. To illustrate the usefulness of our routing algorithm, we present two capsule networks that apply it in different domains: vision and language. The first network achieves new state-of-the-art accuracy of 99.1% on the smallNORB visual recognition task with fewer parameters and an order of magnitude less training than previous capsule models, and we find evidence that it learns to perform a form of "reverse graphics." The second network achieves new state-of-the-art accuracies on the root sentences of the Stanford Sentiment Treebank: 58.5% on fine-grained and 95.6% on binary labels with a single-task model that routes frozen embeddings from a pretrained transformer as capsules. In both domains, we train with the same regime. Code is available at https://github.com/glassroom/heinsen_routing along with replication instructions.
updated: Fri Feb 28 2020 16:57:39 GMT+0000 (UTC)
published: Sat Nov 02 2019 22:13:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト