vllm
12件のリポジトリ
OCR, layout analysis, reading order, table recognition in 90+ languages
複雑な表やレイアウトも読み取る最新OCRモデル — Chandra OCR 2は画像やPDFを表・手書き文字・複雑なレイアウトまで保持したままHTML/Markdown/JSONに変換する最新のOCRモデルです。従来のOCRが苦手とするレイアウト保持を強みとし、Datalabのマネージド基盤では大量ページの高速バッチ処理にも対応しています。文書構造を忠実に再現したいドキュメントAI開発者に特に刺さる選択肢です。
NVIDIA発、データセンター規模の分散推論基盤Dynamo — vLLM・SGLang・TensorRT-LLMといった推論エンジンを置き換えず、その上位で複数ノードを協調動作させるオーケストレーション層です。分離型サービング(disaggregated serving)、インテリジェントルーティング、多層KVキャッシュ、自動スケーリングを組み合わせ、LLMやマルチモーダル・動画生成ワークロードのスループット最大化とレイテンシ低減を実現します。RustとPythonで実装され、大規模LLM推論基盤を運用する企業・研究者に刺さる内容です。
異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。
ローカルAIモデルをホットスワップするGo製プロキシ — llama.cppやvLLMなど複数のローカル推論サーバーを1つの設定ファイルで管理し、リクエストに応じてモデルを自動で切り替えられるツールです。OpenAIとAnthropic両方のAPI互換エンドポイントに対応し、単一バイナリで依存関係なく動作するため導入も簡単です。すでに多くのローカルLLM運用者に使われています。
生成AIと予測AIを統合するKubernetes推論基盤 — KServeはKubernetes上でLLM推論と従来の機械学習モデル推論を単一プラットフォームで扱えるCNCFプロジェクトです。vLLMによる高速化やOpenAI互換API、KVキャッシュオフロードなど生成AI向け機能に加え、TensorFlow/PyTorch/XGBoostなど多様なフレームワークのモデルサービングやCanaryデプロイ、説明可能性もサポートし、MLOps基盤を統一します。
vLLMをHuawei Ascend NPUで動かすプラグイン — vLLMのプラグイン機構を使い、GPUではなくHuawei AscendのNPU上でLLM推論を実行できるコミュニティ製プラグインです。Ascend環境でvLLMのサービング機能を使いたいチーム向けで、v0.30.0など頻繁なリリースで新しいvLLMへの対応が継続されています。
SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。
Official Inference Code of EAGLE-4
Rust製の推論エンジン非依存LLMゲートウェイ — vLLM・TRT-LLM・SGLangなどの推論エンジンを問わず、OpenAIやAnthropic互換APIで統一的に扱えるRust製ゲートウェイです。業界初のgRPCパイプラインやKVキャッシュ考慮ルーティング、トークナイズキャッシュ、WASMプラグイン、MCP対応など、大規模LLM運用を支える機能を備えています。
Open full-duplex voice models that hear your tone and speak with one. One GPU with vLLM-Omni, or fully offline on a Mac with MLX. Zero-shot voice cloning, OpenAI Realtime / GPT-Live compatible, free hosted API trial. Apache-2.0.
GPTQ系を上回る速度の汎用量子化ツールMACaQ — MACaQはテキスト・画像・動画・音声モデルをllama.cpp、vLLM、Diffusers、PyTorch向けに量子化できるツールです。122Bモデルをわずか32.5GBのメモリで64分で量子化でき、MR-GPTQやDuQuant++より低いperplexityを達成、もしくは同等精度を11倍速く得られます。複数バックエンドでローカル推論したい人に向いています。