gateway

traefik/traefik

インフラ変化を自動検知するクラウドネイティブなリバースプロキシ — Traefikは、Docker・Kubernetes・Consul・Etcdなど既存のオーケストレーター/サービスレジストリと連携し、設定を自動で動的に更新するモダンなリバースプロキシ兼ロードバランサーです。従来型プロキシのように各ルートを手動設定する必要がなく、マイクロサービスの追加・削除・スケーリングに追従できる点が大きな特徴です。GoLangで書かれ、Let's Encryptにも対応しています。

BerriAI/litellm

100超のLLMをOpenAI形式で統一操作 — Bedrock、Azure、Anthropic、VertexAI、vLLMなど100以上のLLM APIをOpenAI形式で呼び出せるAIゲートウェイです。Rustコア＋Python SDKで高速・軽量を実現し、コスト管理やガードレール、ロードバランシング、ロギングも標準搭載。セルフホストでエンタープライズ利用も可能で、マルチLLM運用を統一したい開発者に刺さります。

langfuse/langfuse

LLMアプリとエージェントのためのOSSトレース＆評価基盤 — LangfuseはLLMアプリケーションをトレース・評価・デバッグできるオープンソースのセルフホスト型プラットフォームです。LangChainやLlamaIndex、AutoGenとの連携やプロンプト管理機能も備え、Y Combinator出身で自前運用を重視するチームに向いています。

zeromicro/go-zero

数千万ユーザーを支えたGoマイクロサービス基盤 — go-zeroは耐障害性設計を組み込んだWeb/RPCフレームワークで、長年大規模サービスを支えてきた実績があります。API定義からgoctlでGo/TS/Kotlin等のコードを自動生成でき、タイムアウト制御やレート制限、適応型サーキットブレーカーなどを設定不要で備える点が特徴です。

fosrl/pangolin

WireGuardベースのSASE基盤、VPN・ゼロトラストプロキシ・PAMを統合 — Pangolinは、ゼロトラストVPN、リバースプロキシ、特権アクセス管理、AIゲートウェイを単一のアイデンティティ・ポリシーモデルで統合するオープンソースSASE基盤です。Cloudflare OneやZscalerのような機能を目指しつつ、自己ホスト可能で軽量な運用を重視しています。

rmyndharis/OpenWA

自前運用できる無料WhatsApp APIゲートウェイ — NestJS製のOpenWAは、ベンダーロックインや有料制限なしでWhatsApp連携を自前ホストできるOSSゲートウェイです。DB（SQLite/PostgreSQL）やストレージ（ローカル/S3）、キャッシュ（Redis）をコード変更なしで切り替え可能なプラガブル構成が特徴で、WhatsApp Bizの代替基盤を探す開発者に刺さります。

maximhq/bifrost

LiteLLMの50倍速、Go製のAIゲートウェイBifrost — OpenAI・Anthropic・AWS Bedrockなど23以上のプロバイダーをOpenAI互換APIで統合するAIゲートウェイです。LiteLLMより50倍高速で5000RPS時のオーバーヘッドは100µs未満、自動フェイルオーバーや負荷分散、ガードレール、1000以上のモデル対応など、エンタープライズ向けLLM運用を支える機能が揃っています。ゼロコンフィグでnpxやDockerから即起動できる点も魅力です。

IBM/mcp-context-forge

MCP・A2A・REST/gRPCを束ねる統合AIゲートウェイ — ContextForgeはIBM製のオープンソースなレジストリ兼プロキシで、MCP・A2A・REST/gRPC APIを単一エンドポイントに統合し、一元的なガバナンス・発見・可観測性を提供します。40以上のプラグインやOpenTelemetryトレーシングを備え、PyPI・Docker・Kubernetes上でマルチクラスタ対応のMCPサーバーとして動作します。

awslabs/agentcore-samples

AIエージェントを本番運用するAWSのサンプル集 — Amazon Bedrock AgentCoreは、フレームワークやモデルを問わずAIエージェントを安全かつスケーラブルに本番運用できる基盤です。本リポジトリはStrands Agents、CrewAI、LangGraphなど多様な構成での実装例を提供し、認証・メモリ管理・ゲートウェイなど実運用に必要な機能をまとめて学べます。

mozilla-ai/otari

自前で運用できるLLMゲートウェイ Otari — OpenAI互換の単一エンドポイントで40以上のプロバイダーをルーティングできる自己ホスト型LLMゲートウェイです。仮想APIキー発行・予算管理・利用量トラッキングを備え、LiteLLMの代替としてMozilla AIが開発。プロバイダー資格情報をゲートウェイ内に隠蔽でき、失敗時のルーティングフォールバックにも対応します。

mrifqidaffaaditya/WA-AKG

自前運用できるWhatsApp APIゲートウェイ — Next.js 15・Baileys・Prismaで構築されたセルフホスト型のWhatsAppゲートウェイ兼ダッシュボードです。複数セッション管理、メッセージ予約送信、自動返信、Webhook連携に対応し、109以上のREST APIでWhatsAppを業務システムやBotに組み込みたい開発者に最適です。