LLMのプロンプトエンジニアリング

https://gyazo.com/851d28cb38d6abeed4784d1412452220

初期の言語モデル

丸暗記はLLMには向かない

モデルが事実やパターンを学習する代わりにテキストの一部を丸暗記してしまうことがある

人間の思考とLLMの処理の違い

例えば検索をとると

人間はURLの情報を調べて削除されていたらそれは削除されましたと認識する

LLMは情報を常に推測してそれっぽいことと認識する

モデルは常に推測しているからです

LLMは人間がテキストを生成する際に切り替える別のモードを持たない

事実と異なるがもっともらしく見える情報をモデルが自信をもって生成してしまう現象

LLMはテキストトークンの集合として見ていますが人間は単語の集合としてみている

違いがある

決定論的なトークナイザーを使用する

文字から単語を曖昧に行っているからつづり間違いが多い

LLMは文字を1つずつゆっくり確認できない

LLMは文字を人間とは異なる見方をする

LLMに大文字・小文字変換ばかりやらせるのは避けること

LLMはパターン認識が得意なのでパターンに生じるとどこで打ち切るか見つけられなくなってしまう

マスキング

ミニブレインのすべてが質問に答えられるわけではない一番左側のものだけが回答可能

それぞれのミニブレインが影響を与えることはない

LLMはテキストを一度しか読めず後戻りできない

なので順序がいかに重要であることがわかる

強化学習

三人称にしたり、ボイラーテンプレートを使うと制度があがる