ニューラルモジュールネットワーク(NMN)は、明示的なマルチホップ推論機能を備えた手作りのニューラルモジュールのおかげで、強力な解釈可能性と構成性を示します。ただし、ほとんどのNMNには、次の2つの重大な欠点があります。1)スケーラビリティ:特定の機能用にカスタマイズされたモジュールは、複雑なタスクでより多くの機能セットにスケールアップするときに実用的ではありません。 2)一般化可能性:厳格な事前定義されたモジュールインベントリにより、新しいタスク/ドメインで目に見えない機能に一般化することが困難になります。より強力なNMNアーキテクチャを実用化するために、関数レシピを取り入れて動的に多様なインスタンスモジュールに変形できる新しいメタモジュールを中心としたメタモジュールネットワーク(MMN)を提案します。次に、インスタンスモジュールは、複雑な視覚的推論のために実行グラフに組み込まれ、NMNの強力な説明性と構成性を継承します。このような柔軟なインスタンス化メカニズムにより、インスタンスモジュールのパラメーターは中央メタモジュールから継承され、関数セットの増大と同じモデルの複雑さを維持し、より優れたスケーラビリティを約束します。一方、関数は埋め込み空間にエンコードされるため、以前に観察された関数との構造的類似性に基づいて、見えない関数を簡単に表すことができ、より一般化が容易になります。 GQAおよびCLEVRデータセットでの実験により、最先端のNMN設計に対するMMNの優位性が検証されます。 GQAデータセットからの差し出された見えない関数に関する合成実験も、MMNの強力な一般化可能性を示しています。コードとモデルはGithubhttps://github.com/wenhuchen/Meta-Module-Networkでリリースされています。
Neural Module Network (NMN) exhibits strong interpretability and compositionality thanks to its handcrafted neural modules with explicit multi-hop reasoning capability. However, most NMNs suffer from two critical drawbacks: 1) scalability: customized module for specific function renders it impractical when scaling up to a larger set of functions in complex tasks; 2) generalizability: rigid pre-defined module inventory makes it difficult to generalize to unseen functions in new tasks/domains. To design a more powerful NMN architecture for practical use, we propose Meta Module Network (MMN) centered on a novel meta module, which can take in function recipes and morph into diverse instance modules dynamically. The instance modules are then woven into an execution graph for complex visual reasoning, inheriting the strong explainability and compositionality of NMN. With such a flexible instantiation mechanism, the parameters of instance modules are inherited from the central meta module, retaining the same model complexity as the function set grows, which promises better scalability. Meanwhile, as functions are encoded into the embedding space, unseen functions can be readily represented based on its structural similarity with previously observed ones, which ensures better generalizability. Experiments on GQA and CLEVR datasets validate the superiority of MMN over state-of-the-art NMN designs. Synthetic experiments on held-out unseen functions from GQA dataset also demonstrate the strong generalizability of MMN. Our code and model are released in Githubhttps://github.com/wenhuchen/Meta-Module-Network.