Jigsaw（Perspective APIチーム）の

“Nuanced Metrics for Measuring Unintended Bias with Real Data for Text Classification”（Borkan, Dixon, Sorensen, Thain, Vasserman, WWW’19 Companion）

要点（超要約）

有害発言検出（Perspective）の偏りを測る閾値非依存の指標群を提案し、実データ（Real Data）の大規模人手ラベル・コーパスでも評価。

関連で押さえるなら

前段の概念・緩和策まとめ：“Measuring and Mitigating Unintended Bias in Text Classification”（AIES 2018）。

その後の実運用・多言語モデル化：“A New Generation of Perspective API…”（Charformer、実APIトラフィック由来ベンチ評価）。