llama

ollama/ollama

ローカルLLM実行を誰でも簡単にするOllama — Kimi、GLM、DeepSeek、Qwen、Gemmaなど多様なオープンモデルをワンコマンドでダウンロード・実行できるツールです。Claude CodeやCopilot CLIなど既存のコーディングエージェントとの統合も充実し、ローカルLLM利用のハードルを大きく下げています。

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

A high-throughput and memory-efficient inference and serving engine for LLMs

unslothai/unsloth

LLM/画像生成モデルをローカルで動かすデスクトップアプリ — Unslothはローカル環境でLLMや拡散モデルの実行・学習ができる初のデスクトップアプリです。GGUFやMLX形式に対応し、Qwen3.8やDeepSeek-V4、Gemma、FLUXなど最新モデルを幅広くサポート。クラウド不要でファインチューニングまで完結できる点が特徴です。

Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.

mudler/LocalAI

GPU不要で動く、OpenAI互換のオープンソースAIエンジン — LocalAIはOpenAI API互換のローカルAI実行エンジンで、LLMだけでなく画像・音声・動画生成まで幅広いモデルをGPUなしで動かせます。llama.cppやvLLM、whisper.cppなど最良のバックエンドをそれぞれ個別イメージでラップする「小さなコア」構成が特徴で、クラウド依存を減らしたい開発者やセルフホスト志向のチームに向いています。

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

AstrBotDevs/AstrBot

複数IMとLLMをまとめるAIエージェント基盤AstrBot — AstrBotはTelegram・Discord・QQなど多数のIMプラットフォームとLLM、プラグイン、AIエージェント機能を統合したPython製フレームワークです。MCP対応やDocker運用に対応し、プラットフォームごとにボットを作り分けずに済む開発者向けの選択肢です。

AI Agent Assistant & development framework that integrates lots of IM platforms, LLMs, plugins and AI feature, and can be your openclaw alternative. ✨

lyogavin/airllm

4GBのGPUで700億パラメータLLMを動かす — AirLLMは量子化や蒸留なしに、70Bクラスの大規模言語モデルをわずか4GBのGPUメモリで推論できるライブラリです。レイヤー単位で重みをストリーミングすることで、Kimi K2やDeepSeek-V3といった超巨大モデルも省VRAMで動作・学習でき、個人環境でのLLM活用の敷居を大きく下げます。

AirLLM 2.8T LLM inference with single 4GB GPU

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

SGLang is a high-performance serving framework for large language models and multimodal models.

multimodal-art-projection/YuE

記号とオーディオを統合する次世代音楽生成AI — YuE2はシンボリックな作曲とオーディオ生成を統一したフロンティア級の音楽生成モデルです。ゼロショットカバーやエージェント的な音楽編集にも対応し、単なる自動作曲ツールを超えて、構造的なプランニングから音響出力までを一貫して扱える点が新しいです。研究者やクリエイター向けにHugging Faceモデルやベンチマークも公開されています。

YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.

AAswordman/Operit

The most powerful AI agent and AI chat software on Android/Operit是一款Android上能力最为强大、发展最久的AI Agent

higgsfield-ai/higgsfield

数千億パラメータ級LLMを泣かずに学習するGPUオーケストレーション — Higgsfieldは巨大言語モデルの分散学習に特化したOSSフレームワークです。ZeRO-3やPyTorchのFSDPに対応し、GPUリソース管理・実験キュー・GitHub連携まで備えることで、Llama等のマルチノード学習を数行のコードで実現できます。MLOps基盤としての運用性も強みです。

Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

mostlygeek/llama-swap

ローカルAIモデルをホットスワップするGo製プロキシ — llama.cppやvLLMなど複数のローカル推論サーバーを1つの設定ファイルで管理し、リクエストに応じてモデルを自動で切り替えられるツールです。OpenAIとAnthropic両方のAPI互換エンドポイントに対応し、単一バイナリで依存関係なく動作するため導入も簡単です。すでに多くのローカルLLM運用者に使われています。

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc