inference

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

A high-throughput and memory-efficient inference and serving engine for LLMs

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

SGLang is a high-performance serving framework for large language models and multimodal models.

FlashML-org/FreeToken

290B超のMoEモデルを個人PCで動かすエッジ推論エンジン — FreeTokenはデータセンター級の巨大MoEモデルをゲーミングPCなどの一般ハードウェアで高速に動かすエッジ特化型推論エンジンです。GPU・CPU・メモリを統合的に扱うq⋆ポリシーやセマンティックキャッシュ、弾性メモリ管理により、DeepSeek-V4やQwen、GLMなど大規模モデルのローカル実行を効率化します。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

An open, programmable decision layer for models and compute.

trymirai/uzu

Rust製・端末上で動く高速LLM推論エンジン — Mirai社によるRust製の高性能推論エンジンで、AIモデルをアプリ内に直接組み込み、ゼロレイテンシーと完全なデータプライバシーを実現します。AppleのMetalに対応し、iOS/macOS向けにSwift・Python・TypeScriptバインディングを提供、オンデバイスLLM/TTS実行の選択肢として注目されます。

A high-performance inference engine for AI models

theagentrouter/agent-router

Envoyで動くAI/エージェント通信の統一制御プレーン — 旧Envoy AI Gatewayが改名したOSSプロジェクトです。ホスト型モデルから自前推論・MCPサーバーまで、OpenAI互換の単一APIで統合し、認証・ルーティング・クォータ・フェイルオーバーをEnvoy上で一元管理できます。マルチプロバイダーLLM運用を担うプラットフォームチームに刺さる設計です。

Manages Unified Access to Generative AI Services built on Envoy Gateway

SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

sgl-project/sglang-omni

音声・マルチモーダルAIを高速配信するSGLang派生フレームワーク — SGLang-OmniはTTSやASR、統合マルチモーダルモデルに特化した高性能サービングフレームワークです。SGLangの技術基盤を活かし、ストリーミングや分散推論、OpenAI互換APIに対応することで、音声・マルチモーダルAIの実運用を容易にします。

SGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.

google/agentmesh

AIエージェント同士を安全につなぐP2Pメッシュ網 — GoogleによるAgent Meshは、AIエージェント専用のプライベートP2Pネットワークです。各ノードがツールやモデルを公開・検索・呼び出しでき、デフォルトでは何も外部に公開されず、OIDCベースの検証可能な身元管理とサービス単位の許可制で安全性を確保します。MCPやA2Aプロトコルに対応し、ノート PC からクラスタまで横断的にエージェント連携を実現する点が特徴です。

Agent Mesh

llm-d/llm-d-router

LLM推論を賢くルーティングするKubernetes用ゲートウェイ — KubernetesでLLM推論リクエストの入口を担うインテリジェントルーターです。KVキャッシュの局所性や負荷状況を考慮したEndpoint Pickerにより、Envoyなどのプロキシと連携して最適な配置を実現し、優先度制御や高度なフロー制御も可能にします。Istioやクラウド型ALBとも統合できる柔軟な設計が特徴です。

llm-d Router: The intelligent entry point for inference requests

fudan-generative-vision/Remory

要約で失われる文脈を学習記憶で補う — 長期対話でコンテキストを圧縮（要約）する際、要約文の後に学習済みの「残差メモリ」を追加することで、凍結したモデルでも過去の作業履歴を踏まえた継続ができる手法です。Qwenセッションでのオンライン学習にも対応し、Hugging Face Daily Papersで2位を獲得した注目の研究実装です。

Remory: Learning Residual Memory for Context Compaction