openai-compatible
13件のリポジトリ
在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Flash、Kimi K3 在内的前沿模型——完全免费,不限量。 All you do is install this plugin in dsh: no login, no sign-up, no API key — the frontier models are just there, DeepSeek V4.1 Flash and Kimi K3 among them. Completely free, with no usage cap.
LiteLLMの50倍速、Go製のAIゲートウェイBifrost — OpenAI・Anthropic・AWS Bedrockなど23以上のプロバイダーをOpenAI互換APIで統合するAIゲートウェイです。LiteLLMより50倍高速で5000RPS時のオーバーヘッドは100µs未満、自動フェイルオーバーや負荷分散、ガードレール、1000以上のモデル対応など、エンタープライズ向けLLM運用を支える機能が揃っています。ゼロコンフィグでnpxやDockerから即起動できる点も魅力です。
エージェント向けモデルルーター、50ms未満で最適なAIモデルへ自動振り分け — AIエージェントのプロンプトを最適なモデルへ50ms未満で振り分けるGo製ルーターです。エンドポイントを差し替えるだけでコストを40〜70%削減でき、OpenAI互換APIとしてClaude CodeやCodexなど既存ツールにそのまま組み込めます。
🤖 Open-source, local-first alternative to Grok Bot, OpenAI dots and Claude Duet. Your own AI bots on any model: GPT, Claude, Gemini, Grok, DeepSeek, Kimi, GLM and 70+ more through one Modelflare key. Reach them in the app, WeChat or Feishu; they remember you, work in the background, run commands and use your computer. Pay per use.
Apple Silicon特化の高速LLM推論サーバー — Rapid-MLXはMLXベースで構築されたOSS推論サーバーで、OpenAIおよびAnthropic API互換です。コーディングエージェント向けの信頼性あるツール呼び出しに特化し、同じモデル・重みでApple公式のmlx-lmより最大4倍高速に動作する点が特徴です。ローカルLLM派のOllama/LM Studio代替として注目です。
Apple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。
50以上のAIクライアントを1つのbase_urlに集約するゲートウェイ — Agent2APIはRust製のAIルーティングゲートウェイで、各種AIクライアントのログイン状態を引き継ぎ、1つのbase_urlでOpenAI/Anthropic/画像生成APIを統一提供します。マルチアカウントの選路・フェイルオーバー・チェックイン・残高や利用レポート管理、プラグインによるプロバイダ拡張も可能で、複数AIアカウントを使い分ける人向けです。
自前で運用できるLLMゲートウェイ Otari — OpenAI互換の単一エンドポイントで40以上のプロバイダーをルーティングできる自己ホスト型LLMゲートウェイです。仮想APIキー発行・予算管理・利用量トラッキングを備え、LiteLLMの代替としてMozilla AIが開発。プロバイダー資格情報をゲートウェイ内に隠蔽でき、失敗時のルーティングフォールバックにも対応します。
A multi-model Muse: personal AI voice assistant on ESP32 - wake word or knob, any OpenAI-compatible brain (STT/chat/TTS mix-and-match), streaming replies, out of the box. Built on muse-gadget-sdk.
Capri — an AI desktop companion for Windows with local/API models, Hugging Face, optional voice, memory and permission-based desktop tools.
The lossless, headless coding agent harness. One 7 MB static binary, four tools, plain stdin/stdout, no silent cuts.
どのモデルもMCPもつなぐ、依存ゼロのAIハーネス — ShimはGo製の単一バイナリで動くCLI型AIハーネスです。OpenAI互換やAnthropicのモデル、MCPサーバー、Agent Skillsを自然言語やコマンドで操作でき、ローカルの小型モデルがコマンドに変換します。Electron・Node・Dockerなど不要で、軽量さを重視する開発者向けです。
1回の読み込みで大量質問を確率判定するGPU推論エンジン — spinf-serveはコンテンツを一度読み込み、同じフォワードパスで多数の質問に確率として答える推論エンジンです。自社の大規模ニューススコアリング用途で生まれ、24GBのGPU1枚でOpenAI互換APIとして動作し、チャットではなく大量分類やコンテンツモデレーション向けです。