ai-gateway

cheaper-inference/OmniRoute

359プロバイダーを1窓口に束ねる無料AIゲートウェイ — OmniRouteはClaude・GPT・Gemini・DeepSeekなど1200以上のモデルと359のAIプロバイダーを一つのエンドポイントに統合する無料OSSゲートウェイです。独自のRTK+Caveman圧縮でトークン消費を15〜95%削減し、クォータ枯渇時は自動フォールバック。Claude Code・Cursor・Copilotなど既存ツールと直結でき、月間約16億トークン相当の無料枠をまとめて使い切れる点が特徴です。

Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 900+ contributors

BerriAI/litellm

100超のLLMをOpenAI形式で統一操作 — Bedrock、Azure、Anthropic、VertexAI、vLLMなど100以上のLLM APIをOpenAI形式で呼び出せるAIゲートウェイです。Rustコア＋Python SDKで高速・軽量を実現し、コスト管理やガードレール、ロードバランシング、ロギングも標準搭載。セルフホストでエンタープライズ利用も可能で、マルチLLM運用を統一したい開発者に刺さります。

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

QuantumNous/new-api

複数LLMを束ねるAIゲートウェイ — OpenAI・Claude・Geminiなど各社LLM APIを相互変換し、一つのゲートウェイで集約・配信できるオープンソースのAIモデルハブです。個人利用から企業のモデル統合管理まで対応し、DeepSeekやRerankなど多様なモデルを一元的にルーティングできる点が特徴です。

Open-source AI gateway. Self-hosted LLM gateway with OpenAI-, Claude- and Gemini-compatible APIs, model routing, access control, usage tracking and cost accounting.

Kong/kong

🦍 The API and AI Gateway

decolua/9router

AIコーディングツールを40以上のプロバイダーに繋ぐ無料ルーター — Claude Code、Cursor、Copilot、CodexなどのAIコーディングツールを40以上のプロバイダー経由で無料・低価格のClaude/GPT/Geminiモデルに接続できるルーターです。RTKによるトークン削減（最大40%）と自動フォールバックにより、レート制限に引っかからず開発を継続できるのが特徴で、サブスク課金や利用上限に悩むエンジニアに刺さります。

Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigravity to FREE Claude/GPT/Gemini via 40+ providers. Auto-fallback, RTK -40% tokens, never hit limits.

apache/apisix

The Cloud-Native API Gateway and AI Gateway

casdoor/casdoor

AIエージェント時代のIAM基盤 — OAuth・OIDC・SAML・LDAP・WebAuthnなど従来のID連携規格に加え、MCPやAIエージェント向けゲートウェイ機能まで備えたオープンソースのIAM/SSOサーバーです。人間の認証基盤とLLMエージェントの認可を一つのプラットフォームで統合できる点が新しく、Google WorkspaceやAzure ADとの連携も可能です。

An open-source Agent-first Identity and Access Management (IAM) /LLM MCP & agent gateway and auth server with web UI supporting OpenClaw, MCP, OAuth, OIDC, SAML, CAS, LDAP, SCIM, WebAuthn, TOTP, MFA, Face ID, Google Workspace, Azure AD

higress-group/higress

AlibabaのIstio/Envoyベース AIネイティブAPIゲートウェイ — Istio・Envoyを基盤にWasmプラグイン（Go/Rust/JS）で拡張できるクラウドネイティブAPIゲートウェイです。多数の主要LLMプロバイダーに対応したAIゲートウェイ機能を持ち、既存APIをMCPサーバーとして公開できる点が特徴で、従来のAPI GatewayとAIインフラを統合したい開発者に刺さります。

🤖 AI Gateway | AI Native API Gateway

maximhq/bifrost

LiteLLMの50倍速、Go製のAIゲートウェイBifrost — OpenAI・Anthropic・AWS Bedrockなど23以上のプロバイダーをOpenAI互換APIで統合するAIゲートウェイです。LiteLLMより50倍高速で5000RPS時のオーバーヘッドは100µs未満、自動フェイルオーバーや負荷分散、ガードレール、1000以上のモデル対応など、エンタープライズ向けLLM運用を支える機能が揃っています。ゼロコンフィグでnpxやDockerから即起動できる点も魅力です。

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.

tbphp/gpt-load

複数AIサービスを一元管理するセルフホスト型ゲートウェイ — OpenAIやClaude、Geminiなど複数プロバイダのAPIキー・サブスクアカウントを一つの入口で束ね、負荷分散やフェイルオーバー、リクエストログ・使用量集計まで対応するGo製ゲートウェイです。複数の課金アカウントを組織的に運用したいチームや、LLM APIの可用性・コスト管理を自前で構築したい開発者に向いています。

Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and subscription accounts, scheduling, failover, request logs and usage. 自托管 AI 网关：多渠道多凭据统一接入，含密钥与订阅账号、调度容错、日志与用量。

vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

An open, programmable decision layer for models and compute.

agentgateway/agentgateway

AIエージェント時代の次世代プロキシ — agentgatewayはMCPやA2Aといったエージェント向けプロトコルに対応したオープンソースのプロキシです。Rust製で高速・軽量に動作し、Kubernetes環境でのAPIゲートウェイやサービスメッシュとしても利用可能。AIエージェントとMCPサーバー間の接続を統一的に管理できる点が特徴です。

Next Generation Agentic Proxy for AI Agents and MCP servers

weave-os/router

エージェント向けモデルルーター、50ms未満で最適なAIモデルへ自動振り分け — AIエージェントのプロンプトを最適なモデルへ50ms未満で振り分けるGo製ルーターです。エンドポイントを差し替えるだけでコストを40〜70%削減でき、OpenAI互換APIとしてClaude CodeやCodexなど既存ツールにそのまま組み込めます。

Model router for agentic systems. Routes every prompt to the right model in <50ms. Cut costs 40-70% with just an endpoint change.

theagentrouter/agent-router

Envoyで動くAI/エージェント通信の統一制御プレーン — 旧Envoy AI Gatewayが改名したOSSプロジェクトです。ホスト型モデルから自前推論・MCPサーバーまで、OpenAI互換の単一APIで統合し、認証・ルーティング・クォータ・フェイルオーバーをEnvoy上で一元管理できます。マルチプロバイダーLLM運用を担うプラットフォームチームに刺さる設計です。

Manages Unified Access to Generative AI Services built on Envoy Gateway

HelpCode-ai/anythingmcp

265種の業務APIをノーコードでMCP化 — REST・SOAP・GraphQL・SQLなど既存APIをコード不要でMCPツールに変換し、ClaudeやChatGPTから直接操作できるセルフホスト型ゲートウェイです。SAP S/4HANA・Business OneやOdoo、Shopifyなど265種のERP・EC向けコネクタを標準搭載し、企業システム連携のAIエージェント活用を一気に加速します。

MCP gateway for AI agents: turn any REST/OpenAPI, GraphQL, SOAP or SQL API into MCP tools. 562 ready-made connectors (SAP, ERP, e-commerce) with RBAC, SSO, audit logs and a knowledge graph.

mozilla-ai/otari

自前で運用できるLLMゲートウェイ Otari — OpenAI互換の単一エンドポイントで40以上のプロバイダーをルーティングできる自己ホスト型LLMゲートウェイです。仮想APIキー発行・予算管理・利用量トラッキングを備え、LiteLLMの代替としてMozilla AIが開発。プロバイダー資格情報をゲートウェイ内に隠蔽でき、失敗時のルーティングフォールバックにも対応します。

Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.

respanai/respan-gateway

全LLMベンダーを1本のRustバイナリで繋ぐゲートウェイ — Respan GatewayはOpenAI・Anthropic・GeminiのSDKをそのまま使いながら任意のモデルへルーティングし、API差異を自動変換します。チャットだけでなくリアルタイム音声や画像、埋め込み、動画にも対応し、MCPサーバーのフロントやフェイルオーバー、プラグイン拡張も可能です。

One endpoint for every LLM vendor. Any SDK, any model, any tool. One Rust binary.