arXiv reaDer
半構造化オブジェクト シーケンス エンコーダー
Semi-Structured Object Sequence Encoders
この論文では、(半) 構造化されたオブジェクト シーケンスをモデル化するタスクについて説明します。特に、そのようなシーケンスの構造を意識した入力表現を開発する問題に注意を向けます。このようなシーケンスでは、各構造化オブジェクトは、構造化オブジェクトの属性をエンコードするキーと値のペアのセットによって表されると想定しています。キーのユニバースが与えられると、構造化されたオブジェクトのシーケンスは、時間の経過に伴う各キーの値の進化と見なすことができます。特定のキーの値を使用して順次表現をエンコードおよび構築し (Temporal Value Modeling - TVM)、キー条件付きの一連の値シーケンスを自己管理して、構造化されたオブジェクト シーケンスの表現を作成します (Key Aggregation - KA )。 2 つのコンポーネントを個別に事前トレーニングして微調整し、両方のモジュールのトレーニングをインターリーブする革新的なトレーニング スケジュールを提示します。この反復的な 2 つの部分トレーニングは、階層エンコーディングを使用した統合ネットワークや、シーケンス de2021transformers4rec のレコードビュー表現またはシーケンスの単純な平坦化表現を使用する他の方法よりも優れたパフォーマンスをもたらすことがわかりました。実世界のデータを使用して実験を行い、複数のタスクで TVM-KA をインターリーブすることの利点と、モデリングの選択を動機付ける詳細なアブレーション研究を実証します。私たちのアプローチは、シーケンス オブジェクトをフラット化するよりも優れたパフォーマンスを発揮し、既存のメソッドよりもはるかに大きなシーケンスを操作できることがわかりました。
In this paper we explore the task of modeling (semi) structured object sequences; in particular we focus our attention on the problem of developing a structure-aware input representation for such sequences. In such sequences, we assume that each structured object is represented by a set of key-value pairs which encode the attributes of the structured object. Given a universe of keys, a sequence of structured objects can then be viewed as an evolution of the values for each key, over time. We encode and construct a sequential representation using the values for a particular key (Temporal Value Modeling - TVM) and then self-attend over the set of key-conditioned value sequences to a create a representation of the structured object sequence (Key Aggregation - KA). We pre-train and fine-tune the two components independently and present an innovative training schedule that interleaves the training of both modules with shared attention heads. We find that this iterative two part-training results in better performance than a unified network with hierarchical encoding as well as over, other methods that use a record-view representation of the sequence de2021transformers4rec or a simple flattened representation of the sequence. We conduct experiments using real-world data to demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed ablation studies motivating our modeling choices. We find that our approach performs better than flattening sequence objects and also allows us to operate on significantly larger sequences than existing methods.
updated: Thu Feb 09 2023 18:16:06 GMT+0000 (UTC)
published: Tue Jan 03 2023 09:19:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト