AIで要約した方がマイノリティ意見の取りこぼしリスクが減る
これ、逆のことを思ってる人が割といるnishio.icon
Twitterで説明すると文脈が足りなくてすれ違いになりそうなのでCosenseで一旦書く
N=10000人いて、M=100人のマイノリティの意見があるとする データを読む人のリソースが限られていてK=100件しか読めないとする
選択肢1: ランダムサンプリングする
100件の中にマイノリティの意見が入らない確率が37%ある(近似)
gpt.icon選択肢1 (A): ランダムに K 件読む -> P_miss ≈ exp(-K * M/N) = exp(-1) ≈ 0.368 で、約37%の確率でマイノリティ意見を1件も見ない (厳密計算だと約36.4%)。
選択肢2: AIで要約する
要約して類似のものを1件にまとめると1%以上の割合を占める意見は確実に上位K=100件に入る
M=100は1%以上の割合を占めるので取りこぼさない
Q: 何位に入るのか？
GPT.icon
Zipf 的な分布だと何が起きるか
Zipf っぽい世界では、
ごく少数の巨大クラスタ (多数派) が全体の大部分を占める
その一方で「小さいクラスタ (マイノリティ)」が大量に存在する
このときランダムサンプリングは 確率的に「質量の大きいクラスタ」に強く偏るので、ロングテール側は K をかなり大きくしないと観測に乗らない。
α を変えたときの計算 (N=10,000, M 固定なし)
ここでは n_r = C / r^α かつ n_r >= 1 までを実在クラスタとし、
Σ_{r=1..M_eff} n_r = N を満たすように C と M_eff を決める。
「1%の順位」は p_r = n_r / N が 1% に最も近い rank とする。
table:_
α M_eff 1位シェア p_1 1% の順位(付近) 1%以上の最大順位
0.8 2457 5.16% 8位 7位
1.0 1291 12.92% 13位 12位
1.2 648 23.69% 14位 13位
1.4 339 34.93% 13位 12位
大体13位くらいになるのかnishio.icon
じゃあ「K=100件しか読めないとする」のところを20にしてもいいのか
K=25のとき確率0.779で見落とす
もっと雑な説明
要約によって「大勢が似た意見を持っている意見グループ」ほど強く圧縮される
この表現、分かりやすくて好きHiro Aki.icon
似た図、なのか分からないけど太陽系の惑星を横並びにした姿を連想した
地球は木星とかに比べれば小さいけどきちんと見える感じ
要約後がこの姿であり、元は全て点、ということからさらに星空を連想
星空を見上げてランダムに抽出、それがどういった要素か一つ一つ見る場合はレアケースをたまたま抽出出来ない限り埋没するけど、要約して類似事項をまとめると点々の星空から、大きい丸と小さい丸に分類され、小さい丸はレアケース、そんな流れをイメージ
https://gyazo.com/5684692490342935a53e4f58d73ff75e
もっと