貪欲なデコーディング戦略

様々な論文でとられている設定。

特徴は以下の通り

1. 最高確率のトークンの選択: 貪欲なデコーディングでは、各ステップでモデルが予測するトークンの中で、最も確率が高いトークンを選択します。これは、モデルが生成する各単語や文字が、その時点で最も可能性が高い選択肢であることを意味します。

2. temperature設定: テンパレチャは、選択のランダム性を制御するパラメータです。貪欲なデコーディングでは、低く設定することが一般的です（例えば0や非常に小さい値）。これにより、モデルはより確信のある、予測可能な選択を行います。

3. ビームサーチの無効化: 貪欲なデコーディングとは別の一般的なアプローチにビームサーチがありますが、貪欲なデコーディングを使用する場合は、ビームサーチは不要です。ビームサーチでは複数の最良候補を同時に考慮しますが、貪欲なデコーディングでは常に単一の最良候補のみを追求します。

4. 繰り返しの抑制: 一部の設定では、モデルが同じフレーズや単語を繰り返し生成することを避けるために、繰り返しを抑制するオプションがあります。これは、生成されるテキストの多様性を高めるために役立つ場合があります。

これらの設定は、数学推論タスクのような精度が重視されるタスクにおいて特に重要です。貪欲なデコーディングは、一貫性と正確性を優先する際に適した選択肢となります。