huggingface/tokenizers
💥 Fast State-of-the-Art Tokenizers optimized for Research and Production
Rust製の超高速トークナイザー — Hugging FaceによるRust実装のトークナイザーで、BERTやGPT、Llamaなど主要モデルの事前学習済みトークナイザーをそのまま読み込んで高速に処理できます。Python等の言語バインディングも提供し、研究から本番運用まで業界標準を目指す設計が特徴です。
LLM・機械学習bertgptlanguage-modelnatural-language-processingnatural-language-understandingnlptransformers
指標
相対成長率（7日）+0%規模に対する直近7日の伸び
加速度+5%前週からの増加ペースの変化
注目度303指標を0〜100に揃えて合成
定着率はtrending初掲載から30日経過後に計算できる指標（それまでは表示しない）。指標の定義はこのサイトについて を参照。
star推移とTrending掲載（直近30日）
+9★/日
2026/9/302026/10/29
日別の掲載順位を表で見る（5日）
| 日付 | デイリー | ウィークリー |
|---|---|---|
| 2026年9月29日 | — | rust 18位 +85 |
| 2026年9月28日 | — | rust 18位 +80 |
| 2026年9月27日 | — | rust 21位 +76 |
| 2026年9月24日 | rust 19位 +25 | — |
| 2026年9月23日 | rust 12位 +24 | — |
リポジトリ作成 2019/11/2・trending初掲載 2026/9/23
同じカテゴリの注目リポジトリ（LLM・機械学習）
- pst2154/nemotron-deciffusion
- todesking/slopsampler
- datalab-to/indra
- fudan-generative-vision/Remory
- google-pytorch/torch_tpu
gpt 内の順位
| # | リポジトリ | ★ |
|---|---|---|
| 1 | Significant-Gravitas/AutoGPT | 187,805 |
| 2 | langgenius/dify | 159,853 |
| 3 | vllm-project/vllm | 95,796 |
| 4 | OpenHands/OpenHands | 92,127 |
| 5 | janhq/jan | 45,131 |
| 6 | AstrBotDevs/AstrBot | 44,523 |
| 7 | songquanpeng/one-api | 37,271 |
| 8 | microsoft/graphrag | 36,478 |
| 9 | vxcontrol/pentagi | 32,666 |
| 10 | liyupi/ai-guide | 21,710 |
| 13 | huggingface/tokenizers | 11,209 |