huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust製の超高速トークナイザー — Hugging FaceによるRust実装のトークナイザーで、BERTやGPT、Llamaなど主要モデルの事前学習済みトークナイザーをそのまま読み込んで高速に処理できます。Python等の言語バインディングも提供し、研究から本番運用まで業界標準を目指す設計が特徴です。
LLM・機械学習bertgptlanguage-modelnatural-language-processingnatural-language-understandingnlptransformers
指標
相対成長率（7日）+0%規模に対する直近7日の伸び
加速度+42%前週からの増加ペースの変化
注目度スコア323指標を0〜100に揃えて合成
指標の定義はこのサイトについて を参照。
star推移とtrending掲載（直近30日）
初掲載+17★/日デイリーウィークリー
2026/9/192026/10/18
帯は trending に載った日（濃いほど上位）
日別の掲載順位を表で見る（5日）
| 日付 | デイリー | ウィークリー |
|---|---|---|
| 2026年9月29日 | — | rust 18位 +85 |
| 2026年9月28日 | — | rust 18位 +80 |
| 2026年9月27日 | — | rust 21位 +76 |
| 2026年9月24日 | rust 19位 +25 | — |
| 2026年9月23日 | rust 12位 +24 | — |
リポジトリ作成 2019/11/1・trending 初掲載 2026/9/23
同じカテゴリの注目リポジトリ（LLM・機械学習）
- lightseekorg/tokenspeed
- Niko1221/Strata
- debpalash/VoiceStudio
- opper-ai/jevman-benchmark
- experientiallabs/experiential
gpt 内の順位
| # | リポジトリ | ★ |
|---|---|---|
| 1 | Significant-Gravitas/AutoGPT | 187,628 |
| 2 | langgenius/dify | 158,728 |
| 3 | vllm-project/vllm | 94,008 |
| 4 | OpenHands/OpenHands | 91,144 |
| 5 | janhq/jan | 44,983 |
| 6 | songquanpeng/one-api | 37,193 |
| 7 | microsoft/graphrag | 36,364 |
| 8 | vxcontrol/pentagi | 30,909 |
| 9 | liyupi/ai-guide | 21,292 |
| 10 | multimodal-art-projection/YuE | 12,086 |