arXiv reaDer
追加の命令に値するデータ サンプルの数は?
How Many Data Samples is an Additional Instruction Worth?
最近導入された命令パラダイムは、自然言語で新しいタスクを定義することにより、専門家ではないユーザーが NLP リソースを活用できるようにします。命令調整モデルは、マルチタスク学習モデル (命令なし) よりも大幅に優れています。ただし、それらは最先端のタスク固有のモデルにはほど遠いものです。多数のタスク インスタンスを含むデータセットを作成したり、モデルのアーキテクチャを変更したりすることでモデルのパフォーマンスを向上させる従来のアプローチは、専門家以外のユーザーには実行できない場合があります。ただし、代替命令を記述して命令タスクを表すことはできます。命令の増強は役に立ちますか? NATURAL INSTRUCTIONS の拡張バージョンのタスクのサブセットを追加の命令で増強し、特に低データ体制でモデルのパフォーマンスを大幅に向上させる (最大 35%) ことを発見しました。私たちの結果は、追加の命令は、タスク全体で平均して約 200 のデータ サンプルに相当する可能性があることを示しています。
Recently introduced instruction-paradigm empowers non-expert users to leverage NLP resources by defining a new task in natural language. Instruction-tuned models have significantly outperformed multitask learning models (without instruction); however they are far from state-of-the-art task-specific models. Conventional approaches to improve model performance via creating datasets with large number of task instances or architectural changes in the model may not be feasible for non-expert users. However, they can write alternate instructions to represent an instruction task. Is Instruction-augmentation helpful? We augment a subset of tasks in the expanded version of NATURAL INSTRUCTIONS with additional instructions and find that it significantly improves model performance (up to 35%), especially in the low-data regime. Our results indicate that an additional instruction can be equivalent to ~200 data samples on average across tasks.
updated: Mon Feb 13 2023 20:24:16 GMT+0000 (UTC)
published: Thu Mar 17 2022 08:30:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト