このホワイトペーパーでは、動作システムについては説明していません。代わりに、いくつかの異なるグループによって行われた進歩をGLOMと呼ばれる架空のシステムに組み合わせることができる表現に関する単一のアイデアを提示します。進歩には、変圧器、神経場、対照表現学習、蒸留、カプセルが含まれます。 GLOMは、次の質問に答えます。固定アーキテクチャのニューラルネットワークは、画像を、画像ごとに異なる構造を持つ部分全体の階層に解析するにはどうすればよいでしょうか。アイデアは、解析ツリー内のノードを表すために同一のベクトルの島を使用することです。 GLOMを機能させることができれば、視覚や言語に適用したときに、変圧器のようなシステムによって生成される表現の解釈可能性が大幅に向上するはずです。
This paper does not describe a working system. Instead, it presents a single idea about representation which allows advances made by several different groups to be combined into an imaginary system called GLOM. The advances include transformers, neural fields, contrastive representation learning, distillation and capsules. GLOM answers the question: How can a neural network with a fixed architecture parse an image into a part-whole hierarchy which has a different structure for each image? The idea is simply to use islands of identical vectors to represent the nodes in the parse tree. If GLOM can be made to work, it should significantly improve the interpretability of the representations produced by transformer-like systems when applied to vision or language