arXiv reaDer
追加の指示に値するデータサンプルはいくつですか?
How Many Data Samples is an Additional Instruction Worth?
最近導入された命令パラダイムは、専門家でないユーザーが自然言語で新しいタスクを定義することにより、NLPリソースを活用できるようにします。命令調整モデルは、(命令なしの)マルチタスク学習モデルを大幅に上回っています。ただし、これらは最先端のタスク固有のモデルからはほど遠いものです。多くのタスクインスタンスを含む大規模なデータセットを作成したり、モデルのアーキテクチャ/トレーニングを変更したりすることでモデルのパフォーマンスを向上させる従来のアプローチは、専門家でないユーザーには実行できない場合があります。ただし、命令タスクを表す代替命令を作成することはできます。インストラクションオーグメンテーションは役に立ちますか? NATURAL INSTRUCTIONSのタスクのサブセットを追加の命令で拡張し、これらが特に低データレジームでモデルのパフォーマンスを大幅に向上させる(最大35%)ことを発見しました。私たちの結果は、追加の命令が、評価タスク全体で平均して最大40インスタンスに相当する可能性があることを示しています。
Recently introduced instruction-paradigm empowers non-expert users to leverage NLP resources by defining a new task in natural language. Instruction-tuned models have significantly outperformed multitask learning models (without instruction); however they are far from state of the art task specific models. Conventional approaches to improve model performance via creating large datasets with lots of task instances or architectural/training changes in model may not be feasible for non-expert users. However, they can write alternate instructions to represent an instruction task. Is Instruction-augumentation helpful? We augment a subset of tasks in NATURAL INSTRUCTIONS with additional instructions and find that these significantly improve model performance (upto 35%) specially in low-data regime. Our results indicate that an additional instruction can be equivalent to ~40 instances on average across our evaluation tasks.
updated: Thu Mar 17 2022 08:30:30 GMT+0000 (UTC)
published: Thu Mar 17 2022 08:30:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト