Do Community Notes work?

しかし研究によれば、Community Notes自体は高い正確性（97％など）を示し、誤情報への警告として機能し得る。

“A study of covid related Notes in 2022-23 found 97% accuracy (according to medical professionals).”

一方で、投稿初期の拡散を抑えるには対応が遅く（多くは7時間以上、最大70時間）、対応範囲も十分でないという課題がある。

“…relevant notes typically took more than seven hours to show up, with some taking as long as 70 hours.”

Only 29% of fact-checkable tweets in our sample carry a note rated helpful. And of the helpful notes, only 67% are assigned to a fact-checkable tweet. This is not the kind of precision and recall figures that typically get a product shipped at a big tech platform.

Zooming out, the picture doesn’t look any brighter. In the three days leading up to the election, fewer than 6% of the roughly 15,000 notes reached helpful status.

新しいアルゴリズム「bridging algorithm」は、投票者の政治的偏りなどを割り引いて、公平な評価を目指す工夫がある。

ただしアルゴリズムは極化構造を見つけて投票を割り引くので、専門知識に基づいた投票まで軽視される可能性も指摘される。

全体としては、Community Notesは有望な手法の一つだが、速度・カバー率・バイアスへの対策などに課題が残る。

“This study found that notes on inaccurate tweets reduce retweets by half, and increase the probability that the original author deletes the tweet by 80%.”