Perspective API
Perspective API Using machine learning to reduce toxicity online
有害コメントを判定するAPI
Audrey Tangとの会話 Conversation with Yasmin Green and Örkesh Dölet｜Ministry of Digital Affairs
Perspective APIは、Googleの子会社であるJigsawが開発した機械学習モデルで、以下のような特徴があります。
- オンライン上のコメントやメッセージの「毒性」を検出することを目的としている。毒性とは、相手を侮辱したり中傷したりするような攻撃的な内容を指す。
- 大量のオンラインコメントデータを使って学習されたAIモデル。テキストを入力すると、そのテキストの毒性レベルをスコア化して返す。
- オンライン上の議論を健全化し、建設的な会話を促進することを目指している。ソーシャルメディアプラットフォームやニュースサイト、ブログなどに組み込んで利用できる。
- 毒性検出以外にも、差別的表現、脅迫、わいせつ表現など、様々な種類の不適切なコンテンツを検知できるモデルを提供している。
- 一方で、文脈を理解せずに機械的に判定するため、皮肉や冗談を攻撃的だと誤検知してしまう課題もある。また、特定の価値観に基づいて学習されているため、バイアスがかかっているとの指摘もある。
- 現在は「建設的な会話」の要素を学習するモデル構築にも取り組んでおり、攻撃的コンテンツの削除だけでなく、生産的な議論を促す方向に進化させようとしている。
オンライン上の健全な議論を実現するためのツールとして注目されていますが、AIによる機械的な判定の限界にも留意が必要だと言えます。人間のモデレーターと組み合わせて活用していくのが望ましいでしょう。