local-llm
19件のリポジトリ
tonhowtf/omniget動画・コース一括ダウンロードとAIエージェントGUIを兼ねる異色アプリ — YouTubeやUdemy、Hotmartなど1,800以上のサイトから動画・コースを落とせるyt-dlpベースのGUIツールですが、それだけでなくClaude CodeやCodex、Ollamaなどのローカルモデルを権限管理・undo・ジョブ実行付きで動かせるデスクトップ環境も兼ねています。Rust製でWindows/macOS/Linux対応、ターミナル不要、ファイルはすべてローカル保存という点が特徴です。
Free, open source video downloader for Windows, macOS and Linux that AI agents can drive. Downloads from YouTube, Instagram, TikTok, X, Reddit, torrents and the sites yt-dlp supports. Its MCP server lets Claude Code, Cursor and Codex queue downloads, and it runs Claude Code, Codex, Gemini CLI and Ollama as agents.
MakazhanAlpamys/Soup4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
raullenchai/Rapid-MLXApple Silicon特化の高速LLM推論サーバー — Rapid-MLXはMLXベースで構築されたOSS推論サーバーで、OpenAIおよびAnthropic API互換です。コーディングエージェント向けの信頼性あるツール呼び出しに特化し、同じモデル・重みでApple公式のmlx-lmより最大4倍高速に動作する点が特徴です。ローカルLLM派のOllama/LM Studio代替として注目です。
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM inference server for Apple Silicon, built on MLX, focused on reliable tool calling for coding agents. Up to 4× faster than Apple's MLX (mlx-lm) on the same weights.
AtomicBot-ai/atomic-agentローカルLLMでも動くブラウザ操作AIエージェント — llama.cppでローカルの量子化モデルを動かしつつ、ブラウザ操作やファイル編集、コマンド実行、MCP連携までこなすローカルファースト型AIエージェントです。クラウドモデルと組み合わせる「Fusion」モードで、1台の計画役と複数のワーカーが協調動作するのが特徴です。
Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.
PurpleDoubleD/locally-uncensoredローカルで動くオールインワンAIスタジオ — チャット、画像/動画生成、コーディングエージェントを1つにまとめたデスクトップアプリです。Docker・ターミナル・クラウド不要で、インストールしてモデルを選ぶだけで動作。プライバシー重視でWindows/Linux対応の無料オープンソースという点が新しいです。
The all-in-one local AI studio for your desktop: chat, image and video generation and a coding agent in one free, open source app. Windows and Linux. No Docker, no terminal, no cloud required.
youssofal/MTPLXApple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。
The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.
mw00/project-maya超大規模MoEモデルを自前GPUで動かすセルフホスト推論基盤 — Project Mayaは、最大748BパラメータのMoEモデルをNVIDIA/AMD、Linux/Windows問わず1枚から16枚のGPUで私的に動かせるツールです。推論エンジン、サーバー、ダッシュボード、OpenAI/Anthropic互換API、量子化ツールを備え、クラウドに頼らず大規模LLMを自前で運用したい人に向いています。
Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.
AtomicBot-ai/Atomic-Chat完全ローカルで動くAIチャット＆推論エンジン — Atomic ChatはTauri製のデスクトップアプリで、GGUFやMLX形式のオープンウェイトLLM（DeepSeek、Qwen、Gemmaなど）を100%オフライン・ローカルで実行できます。クラウドAPI不要でプライバシーを守りたい人や、Apple Silicon環境でエージェント型AIを試したい開発者に向いています。MCP対応で拡張性もあり、ChatGPT代替のセルフホスト型ツールとして注目されています。
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
nobodywho-ooo/nobodywhoどの端末でも動く、ローカルLLM実行エンジン — NobodyWhoはRust製の推論エンジンで、Gemma・Qwen・Mistralなどのチャット系LLMをオフライン・ローカルで高速に動かせます。GodotやFlutter、React Native、Kotlin/Swiftなど多言語バインディングを備え、ツール呼び出しの型安全な自動生成、画像・音声入力、TTS/STT/VAD機能まで統合しているのが特徴です。ゲームやアプリ開発者がAPIキー不要でオンデバイスAIを組み込みたい場合に刺さります。
NobodyWho is an inference engine that lets you run LLMs locally and efficiently on any device.
StayLameBro/backburnerYour iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable
DilawarShafiq/nietzschian-debuggerバグを直さず問い詰める、反AI志向のデバッガーCLI — Nietzschian Debuggerは答えを与えず、Claude APIを使って前提を問い詰める逆転発想のツールです。socrates・nietzsche・zarathustraの3段階の強度があり、自力で「わかった」瞬間にたどり着かせます。AI依存を避け、デバッグ力を鍛えたい開発者・学習者向けです。
It won't fix your bug. It'll fix you. The debugger that hands the question back instead of the answer.
prabanta-dev/janasRAM超えLLMをllama.cppより高速推論するC製エンジン — PythonやPyTorchに依存しない純CのLLM推論エンジンです。32GBメモリのノートPCで48GBのQwen3-Next-80Bを動かし、llama.cppより最大8倍以上高速な生成速度を達成。投機的デコーディングやMoE、量子化・Vulkan/AVX2対応で、RAM容量を超える大型モデルをCPU/GPUで快適に動かせます。
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.
Nongfsq/ftopA small, quiet system monitor for Apple Silicon Macs: one floating glass panel that works at any size.
JMS1717/ming-voiceLow-latency local speech-to-speech voice assistant with Ming-3.0-audio-tiny on AMD and Nvidia GPUs. Easy setup on Windows and Linux
FrigadeHQ/hobPCに最適なオープンモデルを自動選択するローカルAIデスクトップアプリ — Hobは、Gemmaやgpt-ossなどのオープンウェイトモデルをllama.cpp経由でローカル実行する、無料オープンソースのデスクトップアプリです。ClaudeやChatGPTの代替として、オフラインかつプライベートに動作し、PCの性能に合った最適なモデルを自動選択してセットアップ、PDF記入や文書処理などをクラウド送信なしで行えます。
An easier way to use AI on your own computer. A free, open-source alternative to Claude and ChatGPT that runs open-weight models like Gemma and gpt-oss locally on Mac, Windows and Linux. Private, and works offline.
giannisanni/pulsarSSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs. Zero-config multi-GPU: measures PCIe bandwidth, places attention and hot experts where they fit.
amurgola/LumaBrowserLocal AI desktop app: a Chromium browser with a GPU-aware llama.cpp runtime, OpenAI-compatible API, AI chat and agents, Stable Diffusion image/video, TTS and music, plus an MCP server so Claude Code, Codex and Cline can drive your browser. Windows, macOS, Linux.
darshi1337/apogeeブラウザ完結・プライバシー重視のAI要約拡張機能 — Apogeeは記事や動画、PDF、DOCXなどをブラウザ内だけで要約するChrome/Firefox拡張機能です。WebGPUやWasmで動作し、バックエンドもAPIキーも不要。Ollamaやllama.cppなどローカルLLMとの連携もでき、プライバシー重視のユーザーに刺さる設計です。
Private AI summarizer for anything you read. Inspired by Mozilla's Orbit.
Geramy/LemonSeed-StudioiPadでeGPU×ローカルLLM動かすIDE — iPad上でThunderbolt接続のAMD GPUを使い、ローカルLLM推論を可能にするエディタ兼IDEです。Linuxのamdgpuドライバを無改変のままDriverKit拡張として組み込み、専用推論エンジンとGPUテレメトリも統合。iPadの可能性を広げる野心的な試みです。
An iPad IDE with local LLM inference on an AMD GPU over Thunderbolt: the upstream Linux amdgpu driver embedded as DriverKit, LemonSeed Engine, and live GPU telemetry.