プレゼンテーション資料を作成するには、主要な概念を要約し、論理的かつ視覚的に心地よい方法で配置するための複雑なマルチモーダル推論スキルが必要です。機械はこの面倒なプロセスをエミュレートすることを学ぶことができますか?ドキュメントからスライドへの生成のための新しいタスクとアプローチを提示します。これを解決するには、ドキュメントの要約、画像とテキストの検索、スライド構造、レイアウト予測を行い、主要な要素をプレゼンテーションに適した形式で配置します。エンドツーエンドの方法でタスクに取り組むために、階層的なシーケンス間アプローチを提案します。私たちのアプローチは、ドキュメントとスライドに固有の構造を活用し、言い換えとレイアウト予測モジュールを組み込んでスライドを生成します。このドメインでの研究を加速するために、実験で使用した6Kのペアドキュメントとスライドデッキに関するデータセットをリリースします。私たちのアプローチは強力なベースラインを上回り、豊富なコンテンツと位置合わせされた画像を備えたスライドを作成することを示しています。
Creating presentation materials requires complex multimodal reasoning skills to summarize key concepts and arrange them in a logical and visually pleasing manner. Can machines learn to emulate this laborious process? We present a novel task and approach for document-to-slide generation. Solving this involves document summarization, image and text retrieval, slide structure and layout prediction to arrange key elements in a form suitable for presentation. We propose a hierarchical sequence-to-sequence approach to tackle our task in an end-to-end manner. Our approach exploits the inherent structures within documents and slides and incorporates paraphrasing and layout prediction modules to generate slides. To help accelerate research in this domain, we release a dataset about 6K paired documents and slide decks used in our experiments. We show that our approach outperforms strong baselines and produces slides with rich content and aligned imagery.