Transformers

モデルとフレームワークの対応表もここ

TODO アーキテクチャのはなしと transformes は分けたい

Auto Classes

AutoModel

AutoModelForSequenceClassification

AutoTokenizer

tokenizer.tokenize(text)

tokenizer.special_tokens_map

code:look.py

[

{"name": name, "token": token, "id": tokenizer.convert_tokens_to_ids(token)}

for name, token in tokenizer.special_tokens_map.items()

]

Trainer 等への入力形式は

モデル形式 → 具体的なタスクのインタフェース

forward の signature 見る(テクい)

code:signature.py

import inspect

inspect.signature(model.forward)

モデル

Encoder-Decoder

T5

Encoder

BERT, RoBERTa

向き不向き

入力テキストと強く関係ある出力を生成するなら Encoder-Decoder

分類などは Encoder のみのモデルのほうが高い性能を示しがち & 軽い

シード固定

標準の random や NumPy や PyTorch の乱数シードが固定される

code:fix_seed.py

from transformers.trainer_utils import set_seed

set_seed(10)

datasets

Pipeline

encoder

入力から文脈化トークン embedding を出力

Positional Encoding 位置符号を付加

正弦関数で位置をベクトル化

自己注意機構 (self attention)

key-query-value attention

3種類の embedding を使う

? 入力 → クエリ埋込はどうやってる? 学習?

multi-head attention

複数の注意機構を同時に適用する

? attention について別でもうちょい読む

活性化は ReLU より GELU が LLM では経験的にいいので標準的に使われている

ドロップアウト率 10% が多い

? 残差結合もよくわかってない

encoder-decoder

encoder の出力(文脈)と入力を受け取って次のトークンを出力

交差注意機構 (cross-attention)

decoder への入力(途中まで生成しているもの)に self-attention を通して

接続している encoder の出力と cross-attention でくっつける

? 小規模な NN で使える attention 実装とかあればもっとイメージわく?

decoder

入力から次のトークンを予測

encoder-decoder から交差注意機構がないもの

TODO

Early Stopping

関連パラメータ

TrainingArguments

どう決める?

訓練データのサンプル数 / バッチサイズ * 1エポックあたりの評価回数

安定してきたあたりで 5~10回ぐらい評価が回る程度の回数?

Trainer

callbacks=[early_stopping]

EarlyStoppingCallback(...)

early_stopping_patience

early_stopping_threshold

メトリック次第、0 で試す / 安定してきた頃の loss 変化の 2 桁ぐらい小さい値?

訓練した後のメトリック取得

best_metric

best_global_step

best_model_checkpoint

state に何があるかどこでわかんの??

compute_metrics にわたすものは何?

code:compute_metrics.py

def custom_metrics(eval_pred):

logits = eval_pred.predictions

labels = eval_pred.label_ids

...

return {"custom_metircs": score}

def compute_map3(eval_pred):

logits = eval_pred.predictions

labels = eval_pred.label_ids

# logits を各ラベルの確率に

probs = torch.nn.functional.softmax(torch.tensor(logits), dim=-1).numpy()

# MAP@3 なので上位 3 つを選ぶ

score = 0

for i in range(len(labels)):

score += 1.0

score += 1.0 / 2

score += 1.0 / 3

return {"map@3": score / len(labels)}

RAdamScheduleFree

使ってみたいけど PR に optimizer.eval と train の呼び分けってしてない?

transformers が呼び分けてる

安心