smg-project/smg
Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.
Rust製の推論エンジン非依存LLMゲートウェイ — vLLM・TRT-LLM・SGLangなどの推論エンジンを問わず、OpenAIやAnthropic互換APIで統一的に扱えるRust製ゲートウェイです。業界初のgRPCパイプラインやKVキャッシュ考慮ルーティング、トークナイズキャッシュ、WASMプラグイン、MCP対応など、大規模LLM運用を支える機能を備えています。
LLM・機械学習anthropicanthropic-apichatclaudegeminiinference-gatewaylightseekllmmcpopenairesponses-apiroutingsglangtensorrtllmtokenspeedtrtllmvllm
指標
相対成長率（7日）+4%規模に対する直近7日の伸び
加速度-59%前週からの増加ペースの変化
注目度413指標を0〜100に揃えて合成
定着率はtrending初掲載から30日経過後に計算できる指標（それまでは表示しない）。指標の定義はこのサイトについて を参照。
star推移とTrending掲載（直近30日）
リポジトリ作成 2025/11/22・trending初掲載 2026/10/20
同じカテゴリの注目リポジトリ（LLM・機械学習）
- pst2154/nemotron-deciffusion
- todesking/slopsampler
- datalab-to/indra
- fudan-generative-vision/Remory
- google-pytorch/torch_tpu
anthropic 内の順位
| # | リポジトリ | ★ |
|---|---|---|
| 1 | affaan-m/ECC | 291,826 |
| 2 | JuliusBrussee/caveman | 115,832 |
| 3 | thedotmack/claude-mem | 104,056 |
| 4 | rtk-ai/rtk | 84,901 |
| 5 | cheaper-inference/OmniRoute | 82,285 |
| 6 | headroomlabs-ai/headroom | 78,160 |
| 7 | code-yeongyu/oh-my-openagent | 70,445 |
| 8 | asgeirtj/system_prompts_leaks | 70,374 |
| 9 | BerriAI/litellm | 62,258 |
| 10 | LibreChat-AI/LibreChat | 46,439 |
| 32 | smg-project/smg | 689 |