日本語Tokenizerの違いは下流タスク性能に影響を与えるか？
形態素解析をした方が性能が良くなる
なんとなくそうなんじゃないかと思っていたが確証はなかった
しっかり実験して検証している、ありがたい
関連
Related Pages
- →llamaindex×gpt3×バルタサル・グラシアン×the_art_of_worldly_wisdom×GPT3では情報密度が逆転する×embeddingは$0.4_/_1m_token×langchain→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]