従来、テキスト生成モデルは一連のテキストを入力として受け取り、事前に訓練されたパラメータを使用して次に最も可能性の高い単語を繰り返し生成します。この作業では、StoryGen と呼ばれるテキスト生成モデルの入力として、テキストの代わりに画像を使用するアーキテクチャを提案します。アーキテクチャでは、複数の画像からのさまざまな特徴を関連付けるリレーショナル テキスト データ ジェネレーター アルゴリズムを設計します。モデルからの出力サンプルは、入力画像から抽出された特徴を含む意味のあるテキストの段落を生成する能力を示しています。学部のプロジェクトレポートです。クーパーユニオンにて2019年12月竣工。
Traditionally, text generation models take in a sequence of text as input, and iteratively generate the next most probable word using pre-trained parameters. In this work, we propose the architecture to use images instead of text as the input of the text generation model, called StoryGen. In the architecture, we design a Relational Text Data Generator algorithm that relates different features from multiple images. The output samples from the model demonstrate the ability to generate meaningful paragraphs of text containing the extracted features from the input images. This is an undergraduate project report. Completed Dec. 2019 at the Cooper Union.