この研究では、通常の自然言語ではなく、新しく予約した少数の抽象トークンからなる「コードブック」を推論に使わせています。64個程度の抽象トークンでも、事前に教師あり学習と自己蒸留を行い、さらに強化学習することで、数学、質問応答、指示追従などの複数課題で自然言語Chain-of-Thoughtに近い成績を保ちながら、推論トークン数を大幅に減らしたと報告しています。

これは"人間には読めない離散的な「LLM用推論語彙」を、モデルが学習すること自体は可能"という、かなり直接的な証拠です。