pytorch

huggingface/transformers

最先端モデルを統一的に扱うTransformers — テキスト・画像・音声・マルチモーダルの最先端モデルを共通APIで推論・学習できるフレームワークです。Qwen・Gemma・DeepSeekなど主要LLM/VLMにも対応し、Hugging Face Hubの事前学習モデルを即活用できる点が強みです。研究者・実務者双方にとって事実上の標準ツールとなっています。

🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

Comfy-Org/ComfyUI

ノードで組み立てる最強の拡散モデルGUI — ComfyUIは画像生成AIをグラフ/ノード形式で自由に組み立てられるGUI・API・バックエンドです。モジュール構造により細かいワークフロー制御が可能で、Stable Diffusionなどの拡散モデルを扱う開発者やクリエイターに広く使われています。従来の一枚岩なUIとは異なり、拡張性と再利用性の高さが特徴です。

The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

A high-throughput and memory-efficient inference and serving engine for LLMs

roboflow/supervision

モデル依存しないCV用ツールキット — 物体検出・セグメンテーション・トラッキングなど、YOLOやTransformersなど任意のモデル出力を統一的に扱える汎用アノテーション・データ処理ライブラリです。特定モデルに依存せず、可視化やゾーンカウントなどのビジネスロジックを素早く実装できる点が特徴で、CVアプリ開発者に人気です。

We write your reusable computer vision tools. 💜

OpenBMB/VoxCPM

トークナイザー不要の多言語TTS「VoxCPM2」 — OpenBMBによるトークナイザーフリーのTTSモデルで、多言語の音声生成・創造的なボイスデザイン・高精度な音声クローニングを実現します。MiniCPM系の技術をベースに、より自然で表現力豊かな音声合成を目指す点が特徴で、音声合成の研究者や開発者に刺さる内容です。

VoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning

arc53/DocsGPT

自社ドキュメントに根ざしたプライベートAIエージェント基盤 — DocsGPTは社内文書やGitHubなどの情報源にRAGで根拠付けしたエージェントを自己ホストできるOSSプラットフォームです。Agent Builderやディープリサーチ、文書解析、マルチモデル対応を標準搭載し、ChatGPT的なクローズドSaaSに頼らず自社データを安全に活用したい企業・開発者に向いています。ワンコマンドで導入できる手軽さも強みです。

Private AI platform for agents, assistants and enterprise search. Built-in Agent Builder, Deep research, Document analysis, Multi-model support, and API connectivity for agents.

tracel-ai/burn

RustでPyTorch超え目指すテンソル/DLフレームワーク — Burnは学習と推論を同一コードで実行できるRust製テンソルライブラリ兼深層学習フレームワークです。ONNXエクスポートなしに訓練コードがそのまま本番で動き、カーネル融合JITにより動的グラフの柔軟さと高速性を両立します。CUDA/Metal/WebGPU/ROCmなどマルチプラットフォーム対応で、研究向けの速い編集・実行サイクルも実現しています。

Burn is a next generation tensor library and Deep Learning Framework that doesn't compromise on flexibility, efficiency and portability.

NVIDIA/TensorRT-LLM

NVIDIA製、GPU最適化LLM推論エンジン — NVIDIA GPU上でLLMを高速推論するためのライブラリです。専用カーネルや効率的なランタイムにより、PythonからLLMを定義しつつ最新の最適化を適用でき、Blackwell世代GPUやMoEモデルにも対応。大規模サービング用途で性能を追求するエンジニアに向いています。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

MakazhanAlpamys/Soup

4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

An open, programmable decision layer for models and compute.

kserve/kserve

生成AIと予測AIを統合するKubernetes推論基盤 — KServeはKubernetes上でLLM推論と従来の機械学習モデル推論を単一プラットフォームで扱えるCNCFプロジェクトです。vLLMによる高速化やOpenAI互換API、KVキャッシュオフロードなど生成AI向け機能に加え、TensorFlow/PyTorch/XGBoostなど多様なフレームワークのモデルサービングやCanaryデプロイ、説明可能性もサポートし、MLOps基盤を統一します。

Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

higgsfield-ai/higgsfield

数千億パラメータ級LLMを泣かずに学習するGPUオーケストレーション — Higgsfieldは巨大言語モデルの分散学習に特化したOSSフレームワークです。ZeRO-3やPyTorchのFSDPに対応し、GPUリソース管理・実験キュー・GitHub連携まで備えることで、Llama等のマルチノード学習を数行のコードで実現できます。MLOps基盤としての運用性も強みです。

Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

sgl-project/sglang-omni

音声・マルチモーダルAIを高速配信するSGLang派生フレームワーク — SGLang-OmniはTTSやASR、統合マルチモーダルモデルに特化した高性能サービングフレームワークです。SGLangの技術基盤を活かし、ストリーミングや分散推論、OpenAI互換APIに対応することで、音声・マルチモーダルAIの実運用を容易にします。

SGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.

ymcrcat/rgpu

MacでもCUDA不要、リモートGPUでPyTorchを動かす — CUDA非搭載のMacなどからPyTorchテンソル演算をリモートのNVIDIA GPUに透過的にオフロードできるツールです。専用deviceを使う簡単な方式と、既存のLinux CUDAバイナリをそのまま動かせるCUDAシム方式の2経路を提供し、ローカル開発環境を変えずに手元に無いGPUを活用できます。

Keep Python on your laptop. Run PyTorch operations and hold tensors on a remote GPU, including from a Mac with no CUDA installation.