deepfaceを使って定量的にモデルを評価する

https://www.reddit.com/r/StableDiffusion/comments/15supaa/using_deepface_to_prove_that_when_training/Using DeepFace to prove that when training individual people, using celebrity instance tokens result in better trainings and that regularization is pointless

Pythonライブラリのdeepfaceを使って、2つの画像間の顔の類似度を計算する。

code:deepface.py

from deepface import DeepFace

# 2つの画像ファイルへのパスを指定（実際には適切なパスを設定する必要があります）

img1_path = 'path_to_img1_file'

img2_path = 'path_to_img2_file'

# 2つの画像間の顔の類似度を計算

response = DeepFace.verify(img1_path=img1_path, img2_path=img2_path)

# 顔の特徴の「距離」を取得

distance = response'distance'

距離が近いほど似ていることになる

これで実在する人物のLoRAモデル等の評価をする

モデルを作り、以下のプロンプトで200枚生成する

code:prompt

headshot photo of instance token woman

code:negative

smile, text, watermark, illustration, painting frame, border, line drawing, 3d, anime, cartoon

これを実際の写真7枚と比較し、ヒストグラムを作る

https://scrapbox.io/files/64de1fa3fdd875001b5725ad.webphttps://scrapbox.io/files/64de1fb2a681ee001b132dbe.webp

私は、0.6より低いスコアの生成画像の高い母集団を達成する最も早いエポックが最良のエポックであると判断した

距離の値が低いほど似ていることになるが、柔軟性を失うことにもなる

0.5を下回ると過学習の可能性が出てくる