NISHIO Hirokazu[Translate]
Do Community Notes work?
o1 Pro要約(主張)
Metaがプロのファクトチェッカーを廃止し、X(旧Twitter)の「Community Notes」に置き換えたことは、コスト削減や責任放棄のカモフラージュではないかという批判がある。
しかし研究によれば、Community Notes自体は高い正確性(97%など)を示し、誤情報への警告として機能し得る。
>“A study of covid related Notes in 2022-23 found 97% accuracy (according to medical professionals).”
一方で、投稿初期の拡散を抑えるには対応が遅く(多くは7時間以上、最大70時間)、対応範囲も十分でないという課題がある。
>“…relevant notes typically took more than seven hours to show up, with some taking as long as 70 hours.”
>Only 29% of fact-checkable tweets in our sample carry a note rated helpful. And of the helpful notes, only 67% are assigned to a fact-checkable tweet. This is not the kind of precision and recall figures that typically get a product shipped at a big tech platform.
> Zooming out, the picture doesn’t look any brighter. In the three days leading up to the election, fewer than 6% of the roughly 15,000 notes reached helpful status.
新しいアルゴリズム「bridging algorithm」は、投票者の政治的偏りなどを割り引いて、公平な評価を目指す工夫がある。
ただしアルゴリズムは極化構造を見つけて投票を割り引くので、専門知識に基づいた投票まで軽視される可能性も指摘される。
全体としては、Community Notesは有望な手法の一つだが、速度・カバー率・バイアスへの対策などに課題が残る。


>“This study found that notes on inaccurate tweets reduce retweets by half, and increase the probability that the original author deletes the tweet by 80%.”
これはBirdwatch論文の結果とも符合する

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]