>nishio 誰かしっかり比較実験してくれないかなーと思ってるんだけど、ChatGPTと日本語でやりとりするより英語でやりとりする方が肌感としては良い。

> この差が縮まっていかない場合は言語の力学は大きく変わると思う。

>大部分の日本人が日本語を話して生活しているのは、周囲の会話相手が日本語を話すからローカルミニマムにハマってるにすぎないわけなので「日本語も話せるけど英語の方が得意なAI」とのコミュニケーションの割合が増えていけば均衡点が変わっていく

>lempiji MMLUというタスクにおいてですが、英語で聞くのが一番で、あとはGPT-3.5に英語で聞くよりGPT-4に日本語で聞くほうが性能が良いなどが公式で示されていますね。言語パワーバランスは確かに存在するので…

>Many existing ML benchmarks are written in English. To get an initial sense of capability in other languages, we translated the MMLU benchmark—a suite of 14,000 multiple-choice problems spanning 57 subjects—into a variety of languages using Azure Translate (see Appendix).