llmops

BerriAI/litellm

100超のLLMをOpenAI形式で統一操作 — Bedrock、Azure、Anthropic、VertexAI、vLLMなど100以上のLLM APIをOpenAI形式で呼び出せるAIゲートウェイです。Rustコア＋Python SDKで高速・軽量を実現し、コスト管理やガードレール、ロードバランシング、ロギングも標準搭載。セルフホストでエンタープライズ利用も可能で、マルチLLM運用を統一したい開発者に刺さります。

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

langfuse/langfuse

LLMアプリとエージェントのためのOSSトレース＆評価基盤 — LangfuseはLLMアプリケーションをトレース・評価・デバッグできるオープンソースのセルフホスト型プラットフォームです。LangChainやLlamaIndex、AutoGenとの連携やプロンプト管理機能も備え、Y Combinator出身で自前運用を重視するチームに向いています。

🪢 Open source agent evals & observability: Trace, evaluate, and improve LLM applications with one open platform.

ComposioHQ/composio

Composio powers 1000+ toolkits, tool search, context management, authentication, and a sandboxed workbench to help you build AI agents that turn intent into action.

promptfoo/promptfoo

OpenAI傘下となったLLM評価・レッドチームツールPromptfoo — PromptfooはLLMアプリ、エージェント、RAGをテスト・レッドチーム診断できるCLI/ライブラリです。宣言的な設定でCI/CDに統合でき、OpenAIやAnthropicでも利用されています。最近OpenAIの一員となりましたが、OSSのままMITライセンスで提供され続けています。

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

MakazhanAlpamys/Soup

4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

maximhq/bifrost

LiteLLMの50倍速、Go製のAIゲートウェイBifrost — OpenAI・Anthropic・AWS Bedrockなど23以上のプロバイダーをOpenAI互換APIで統合するAIゲートウェイです。LiteLLMより50倍高速で5000RPS時のオーバーヘッドは100µs未満、自動フェイルオーバーや負荷分散、ガードレール、1000以上のモデル対応など、エンタープライズ向けLLM運用を支える機能が揃っています。ゼロコンフィグでnpxやDockerから即起動できる点も魅力です。

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.

lmnr-ai/lmnr

AIエージェント専用のOSS観測基盤Laminar — LaminarはAIエージェント向けに設計されたオープンソース観測プラットフォームです。OpenTelemetryネイティブなトレーシングSDKで1行から各種LLMフレームワークを自動計測でき、異常検知のSlack通知、評価(Evals)、MCP/CLI経由のトレース調査、SQL対応のダッシュボード構築まで備えます。YC S24採択。

Laminar - open-source observability platform purpose-built for AI agents. YC S24.

jwuthri-cloud/Tracely-ai

本番トレースをそのまま回帰テストに変換するCI/CD基盤 — AIエージェントの本番トレースを自動採点し、失敗をクラスタリングして再現可能な回帰テストに凍結、劣化を招くPRをブロックするトレース駆動型CI/CDツールです。手作業でのデータセット作成が不要で、実際の失敗例をそのままテスト化できる点が既存のエージェント評価ツールとの大きな違いです。セルフホスト対応。

Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze them into replayable regression tests, and block PRs that regress. Self-hostable.

mozilla-ai/otari

自前で運用できるLLMゲートウェイ Otari — OpenAI互換の単一エンドポイントで40以上のプロバイダーをルーティングできる自己ホスト型LLMゲートウェイです。仮想APIキー発行・予算管理・利用量トラッキングを備え、LiteLLMの代替としてMozilla AIが開発。プロバイダー資格情報をゲートウェイ内に隠蔽でき、失敗時のルーティングフォールバックにも対応します。

Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.

respanai/respan-gateway

全LLMベンダーを1本のRustバイナリで繋ぐゲートウェイ — Respan GatewayはOpenAI・Anthropic・GeminiのSDKをそのまま使いながら任意のモデルへルーティングし、API差異を自動変換します。チャットだけでなくリアルタイム音声や画像、埋め込み、動画にも対応し、MCPサーバーのフロントやフェイルオーバー、プラグイン拡張も可能です。

One endpoint for every LLM vendor. Any SDK, any model, any tool. One Rust binary.