最近導入された命令パラダイムは、専門家でないユーザーが自然言語で新しいタスクを定義することにより、NLPリソースを活用できるようにします。命令調整モデルは、(命令なしの)マルチタスク学習モデルを大幅に上回っています。ただし、これらは最先端のタスク固有のモデルからはほど遠いものです。多くのタスクインスタンスを含む大規模なデータセットを作成したり、モデルのアーキテクチャ/トレーニングを変更したりすることでモデルのパフォーマンスを向上させる従来のアプローチは、専門家でないユーザーには実行できない場合があります。ただし、指示タスクを表す代替命令を作成することはできます。インストラクションオーグメンテーションは役に立ちますか? NATURAL INSTRUCTIONSの拡張バージョンのタスクのサブセットを追加の命令で拡張し、これらが特に低データ領域でモデルのパフォーマンスを大幅に向上させる(最大35%)ことを発見しました。私たちの結果は、追加の命令がタスク全体で平均して最大200のデータサンプルに相当する可能性があることを示しています。
Recently introduced instruction-paradigm empowers non-expert users to leverage NLP resources by defining a new task in natural language. Instruction-tuned models have significantly outperformed multitask learning models (without instruction); however they are far from state of the art task specific models. Conventional approaches to improve model performance via creating large datasets with lots of task instances or architectural/training changes in model may not be feasible for non-expert users. However, they can write alternate instructions to represent an instruction task. Is Instruction-augumentation helpful? We augment a subset of tasks in the expanded version of NATURAL INSTRUCTIONS with additional instructions and find that these significantly improve model performance (up to 35%), especially in the low-data regime. Our results indicate that an additional instruction can be equivalent to ~200 data samples on average across tasks.