トピック / local-llm
local-llm
11件のリポジトリ
tonhowtf/omniget動画・コース一括ダウンロードとAIエージェントGUIを兼ねる異色アプリ — YouTubeやUdemy、Hotmartなど1,800以上のサイトから動画・コースを落とせるyt-dlpベースのGUIツールですが、それだけでなくClaude CodeやCodex、Ollamaなどのローカルモデルを権限管理・undo・ジョブ実行付きで動かせるデスクトップ環境も兼ねています。Rust製でWindows/macOS/Linux対応、ターミナル不要、ファイルはすべてローカル保存という点が特徴です。
Free, open source video downloader for Windows, macOS and Linux that AI agents can drive. Downloads from YouTube, Instagram, TikTok, X, Reddit, torrents and the sites yt-dlp supports. Its MCP server lets Claude Code, Cursor and Codex queue downloads, and it runs Claude Code, Codex, Gemini CLI and Ollama as agents.
MakazhanAlpamys/Soup4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
raullenchai/Rapid-MLXApple Silicon特化の高速LLM推論サーバー — Rapid-MLXはMLXベースで構築されたOSS推論サーバーで、OpenAIおよびAnthropic API互換です。コーディングエージェント向けの信頼性あるツール呼び出しに特化し、同じモデル・重みでApple公式のmlx-lmより最大4倍高速に動作する点が特徴です。ローカルLLM派のOllama/LM Studio代替として注目です。
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM inference server for Apple Silicon, built on MLX, focused on reliable tool calling for coding agents. Up to 4× faster than Apple's MLX (mlx-lm) on the same weights.
AtomicBot-ai/atomic-agentローカルLLMでも動くブラウザ操作AIエージェント — llama.cppでローカルの量子化モデルを動かしつつ、ブラウザ操作やファイル編集、コマンド実行、MCP連携までこなすローカルファースト型AIエージェントです。クラウドモデルと組み合わせる「Fusion」モードで、1台の計画役と複数のワーカーが協調動作するのが特徴です。
Atomic Agent is a local-first AI agent. Runs open-weight models on your own machine via llama.cpp.
youssofal/MTPLXApple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。
The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.
PurpleDoubleD/locally-uncensoredローカルで動くオールインワンAIスタジオ — チャット、画像/動画生成、コーディングエージェントを1つにまとめたデスクトップアプリです。Docker・ターミナル・クラウド不要で、インストールしてモデルを選ぶだけで動作。プライバシー重視でWindows/Linux対応の無料オープンソースという点が新しいです。
The all-in-one local AI studio for your desktop: chat, image and video generation and a coding agent in one free, open source app. Windows and Linux. No Docker, no terminal, no cloud required.
AtomicBot-ai/Atomic-Chat完全ローカルで動くAIチャット＆推論エンジン — Atomic ChatはTauri製のデスクトップアプリで、GGUFやMLX形式のオープンウェイトLLM（DeepSeek、Qwen、Gemmaなど）を100%オフライン・ローカルで実行できます。クラウドAPI不要でプライバシーを守りたい人や、Apple Silicon環境でエージェント型AIを試したい開発者に向いています。MCP対応で拡張性もあり、ChatGPT代替のセルフホスト型ツールとして注目されています。
Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
nobodywho-ooo/nobodywhoどの端末でも動く、ローカルLLM実行エンジン — NobodyWhoはRust製の推論エンジンで、Gemma・Qwen・Mistralなどのチャット系LLMをオフライン・ローカルで高速に動かせます。GodotやFlutter、React Native、Kotlin/Swiftなど多言語バインディングを備え、ツール呼び出しの型安全な自動生成、画像・音声入力、TTS/STT/VAD機能まで統合しているのが特徴です。ゲームやアプリ開発者がAPIキー不要でオンデバイスAIを組み込みたい場合に刺さります。
NobodyWho is an inference engine that lets you run LLMs locally and efficiently on any device.
prabanta-dev/janasRAM超えLLMをllama.cppより高速推論するC製エンジン — PythonやPyTorchに依存しない純CのLLM推論エンジンです。32GBメモリのノートPCで48GBのQwen3-Next-80Bを動かし、llama.cppより最大8倍以上高速な生成速度を達成。投機的デコーディングやMoE、量子化・Vulkan/AVX2対応で、RAM容量を超える大型モデルをCPU/GPUで快適に動かせます。
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.
darshi1337/apogeeブラウザ完結・プライバシー重視のAI要約拡張機能 — Apogeeは記事や動画、PDF、DOCXなどをブラウザ内だけで要約するChrome/Firefox拡張機能です。WebGPUやWasmで動作し、バックエンドもAPIキーも不要。Ollamaやllama.cppなどローカルLLMとの連携もでき、プライバシー重視のユーザーに刺さる設計です。
Private AI summarizer for anything you read. Inspired by Mozilla's Orbit.
Geramy/LemonSeed-StudioiPadでeGPU×ローカルLLM動かすIDE — iPad上でThunderbolt接続のAMD GPUを使い、ローカルLLM推論を可能にするエディタ兼IDEです。Linuxのamdgpuドライバを無改変のままDriverKit拡張として組み込み、専用推論エンジンとGPUテレメトリも統合。iPadの可能性を広げる野心的な試みです。
An iPad IDE with local LLM inference on an AMD GPU over Thunderbolt: the upstream Linux amdgpu driver embedded as DriverKit, LemonSeed Engine, and live GPU telemetry.