核心信息

Hugging Face 发布了 Tokenizers v1 的首个候选版本，声称分词速度最高可提升 30 倍，并在多个方面进行了显著改进。

要点

  • 分词速度最高提升 30 倍，可与生态系统中最佳方案媲美。
  • 跨线程扩展，延迟更低，内存消耗更少。
  • crate 体积大幅缩小，相比此前版本极为微小。