llm-inference
12件のリポジトリ
gitleaks/gitleaksGit履歴に潜む秘密情報を検出する定番CLI — パスワードやAPIキー、トークンなどの秘密情報をgitリポジトリやファイル、標準入力から検出するGo製CLIツールです。正規表現ベースの検出エンジンとCI/CD連携（GitHub Action）で高い実用性を持ち、DevSecOpsの定番として広く使われています。現在は機能完成版として保守フェーズに入り、開発の軸は後継のBetterleaksへ移行中です。
Find secrets with Gitleaks 🔑
ai-dynamo/dynamoNVIDIA発、データセンター規模の分散推論基盤Dynamo — vLLM・SGLang・TensorRT-LLMといった推論エンジンを置き換えず、その上位で複数ノードを協調動作させるオーケストレーション層です。分離型サービング（disaggregated serving）、インテリジェントルーティング、多層KVキャッシュ、自動スケーリングを組み合わせ、LLMやマルチモーダル・動画生成ワークロードのスループット最大化とレイテンシ低減を実現します。RustとPythonで実装され、大規模LLM推論基盤を運用する企業・研究者に刺さる内容です。
A Datacenter Scale Distributed Inference Serving Framework
kserve/kserve生成AIと予測AIを統合するKubernetes推論基盤 — KServeはKubernetes上でLLM推論と従来の機械学習モデル推論を単一プラットフォームで扱えるCNCFプロジェクトです。vLLMによる高速化やOpenAI互換API、KVキャッシュオフロードなど生成AI向け機能に加え、TensorFlow/PyTorch/XGBoostなど多様なフレームワークのモデルサービングやCanaryデプロイ、説明可能性もサポートし、MLOps基盤を統一します。
Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes
raullenchai/Rapid-MLXApple Silicon特化の高速LLM推論サーバー — Rapid-MLXはMLXベースで構築されたOSS推論サーバーで、OpenAIおよびAnthropic API互換です。コーディングエージェント向けの信頼性あるツール呼び出しに特化し、同じモデル・重みでApple公式のmlx-lmより最大4倍高速に動作する点が特徴です。ローカルLLM派のOllama/LM Studio代替として注目です。
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM inference server for Apple Silicon, built on MLX, focused on reliable tool calling for coding agents. Up to 4× faster than Apple's MLX (mlx-lm) on the same weights.
youssofal/MTPLXApple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。
The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.
mw00/project-maya超大規模MoEモデルを自前GPUで動かすセルフホスト推論基盤 — Project Mayaは、最大748BパラメータのMoEモデルをNVIDIA/AMD、Linux/Windows問わず1枚から16枚のGPUで私的に動かせるツールです。推論エンジン、サーバー、ダッシュボード、OpenAI/Anthropic互換API、量子化ツールを備え、クラウドに頼らず大規模LLMを自前で運用したい人に向いています。
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
SemiAnalysisAI/InferenceXSemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。
Open Source AI Accelerator Research Platform Standard / 开源推理研究平台
AtomicBot-ai/Atomic-Chat完全ローカルで動くAIチャット＆推論エンジン — Atomic ChatはTauri製のデスクトップアプリで、GGUFやMLX形式のオープンウェイトLLM（DeepSeek、Qwen、Gemmaなど）を100%オフライン・ローカルで実行できます。クラウドAPI不要でプライバシーを守りたい人や、Apple Silicon環境でエージェント型AIを試したい開発者に向いています。MCP対応で拡張性もあり、ChatGPT代替のセルフホスト型ツールとして注目されています。
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
ashhart/TensorFoldApple SiliconでLLMを高速厳密推論 — MLXやCUDAを使い、Apple SiliconとNVIDIA GPU上でLLMをOpenAI互換APIとして提供するツールです。MTPヘッドやDFlash2によるドラフト検証を各モデル家系ごとに組み込み、量子化モデルでも高速かつ厳密なデコードを実現します。ローカルでOpenAI API互換のLLMサーバーを立てたい開発者に向いています。
LLM Inference Engine for Metal, CUDA and Vulkan.
StayLameBro/backburnerYour iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable
eagle-hq/EAGLE-4Official Inference Code of EAGLE-4
amurgola/LumaBrowserLocal AI desktop app: a Chromium browser with a GPU-aware llama.cpp runtime, OpenAI-compatible API, AI chat and agents, Stable Diffusion image/video, TTS and music, plus an MCP server so Claude Code, Codex and Cline can drive your browser. Windows, macOS, Linux.