vllm

12件のリポジトリ

datalab-to/surya

OCR, layout analysis, reading order, table recognition in 90+ languages

Python🇺🇸 北米発注目度 25
★21,606
datalab-to/chandra

複雑な表やレイアウトも読み取る最新OCRモデル — Chandra OCR 2は画像やPDFを表・手書き文字・複雑なレイアウトまで保持したままHTML/Markdown/JSONに変換する最新のOCRモデルです。従来のOCRが苦手とするレイアウト保持を強みとし、Datalabのマネージド基盤では大量ページの高速バッチ処理にも対応しています。文書構造を忠実に再現したいドキュメントAI開発者に特に刺さる選択肢です。

Python🇺🇸 北米発注目度 35
★12,738
ai-dynamo/dynamo

NVIDIA発、データセンター規模の分散推論基盤Dynamo — vLLM・SGLang・TensorRT-LLMといった推論エンジンを置き換えず、その上位で複数ノードを協調動作させるオーケストレーション層です。分離型サービング(disaggregated serving)、インテリジェントルーティング、多層KVキャッシュ、自動スケーリングを組み合わせ、LLMやマルチモーダル・動画生成ワークロードのスループット最大化とレイテンシ低減を実現します。RustとPythonで実装され、大規模LLM推論基盤を運用する企業・研究者に刺さる内容です。

Rust🇺🇸 北米発注目度 47
★8,530
vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

Go注目度 48
★6,511
mostlygeek/llama-swap

ローカルAIモデルをホットスワップするGo製プロキシ — llama.cppやvLLMなど複数のローカル推論サーバーを1つの設定ファイルで管理し、リクエストに応じてモデルを自動で切り替えられるツールです。OpenAIとAnthropic両方のAPI互換エンドポイントに対応し、単一バイナリで依存関係なく動作するため導入も簡単です。すでに多くのローカルLLM運用者に使われています。

Go🇺🇸 北米発注目度 39
★6,274
kserve/kserve

生成AIと予測AIを統合するKubernetes推論基盤 — KServeはKubernetes上でLLM推論と従来の機械学習モデル推論を単一プラットフォームで扱えるCNCFプロジェクトです。vLLMによる高速化やOpenAI互換API、KVキャッシュオフロードなど生成AI向け機能に加え、TensorFlow/PyTorch/XGBoostなど多様なフレームワークのモデルサービングやCanaryデプロイ、説明可能性もサポートし、MLOps基盤を統一します。

Go注目度 37
★6,247
vllm-project/vllm-ascend

vLLMをHuawei Ascend NPUで動かすプラグイン — vLLMのプラグイン機構を使い、GPUではなくHuawei AscendのNPU上でLLM推論を実行できるコミュニティ製プラグインです。Ascend環境でvLLMのサービング機能を使いたいチーム向けで、v0.30.0など頻繁なリリースで新しいvLLMへの対応が継続されています。

Python注目度 51
★3,122
SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Python🇺🇸 北米発注目度 51
★2,069
eagle-hq/EAGLE-4

Official Inference Code of EAGLE-4

Python注目度 0
★1,214
smg-project/smg

Rust製の推論エンジン非依存LLMゲートウェイ — vLLM・TRT-LLM・SGLangなどの推論エンジンを問わず、OpenAIやAnthropic互換APIで統一的に扱えるRust製ゲートウェイです。業界初のgRPCパイプラインやKVキャッシュ考慮ルーティング、トークナイズキャッシュ、WASMプラグイン、MCP対応など、大規模LLM運用を支える機能を備えています。

Rust🇺🇸 北米発注目度 43
★733
adventists-ai/sophon-realtime

Open full-duplex voice models that hear your tone and speak with one. One GPU with vLLM-Omni, or fully offline on a Mac with MLX. Zero-shot voice cloning, OpenAI Realtime / GPT-Live compatible, free hosted API trial. Apache-2.0.

Python🇨🇳 中華圏発注目度 86
★482
huawei-csl/MACaQ

GPTQ系を上回る速度の汎用量子化ツールMACaQ — MACaQはテキスト・画像・動画・音声モデルをllama.cpp、vLLM、Diffusers、PyTorch向けに量子化できるツールです。122Bモデルをわずか32.5GBのメモリで64分で量子化でき、MR-GPTQやDuQuant++より低いperplexityを達成、もしくは同等精度を11倍速く得られます。複数バックエンドでローカル推論したい人に向いています。

C++🇪🇺 欧州発注目度 88
★378