EMNLP 2026論文：AIの単語分割は評価目標より探索手順が重要——4方式で切り分け

結論から言うと、文章をAIが扱う小さな単位へ分ける「トークナイザー」の性能は、何を良しとする計算目標より、候補をどの順番で探すかに強く左右されるという研究結果です。EMNLP 2026採択論文「Objective vs. Search: Decomposing What Makes a Good Tokeniser」は、2026年9月16日にarXivへ公開されました。

広く使われるBPEは圧縮を目標に、小さい単位から結合する方式です。UnigramLMは確率の高さを目標に、大きな候補から不要なものを削ります。従来の比較では目標と探索手順が同時に違うため、どちらが効いたか分かりませんでした。研究チームは、確率を目標に下から組むBottomUpLLと、圧縮を目標に上から削るTopDownCompを新たに作り、4通りを比較しました。

モデル規模、語彙数、英語のみと多言語の条件を変えた実験で、多くの設定において下から組む探索が1バイト当たりの情報量を小さくし、文章を効率よく表現しました。一方、英文法能力を測るBLiMPでは、設計選択と性能に一貫した関係はありませんでした。開発者には、トークナイザー変更時に圧縮効率だけでなく、目的タスクも別に測る必要があると分かります。

ただし論文は特定のモデル、語彙、評価指標での比較で、下から組む方式が全用途で優れるとは示していません。採択論文ですが、実サービスでの速度や日本語品質は別途検証が必要です。