NISHIO Hirokazu[Translate]
GPQA Diamond
博士課程在籍 or 取得済みの専門家集団が7割しか正解できない難易度の問題に対して、AIは2023年に39%、2024年に78%、2025年に93%の正解率に到達した

2024-09-12

2025-12-11

>対応する分野で博士号取得者または現在取得中の専門家は65%の正確率(後から明らかな誤りを除外すると74%)
>We only hire workers who are in or have completed a PhD
>私たちの最強のGPT-4ベースの基準値は39%の精度を達成しています
2024年に78%、2025年に93%になった

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]