cuda

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

A high-throughput and memory-efficient inference and serving engine for LLMs

debpalash/VoiceStudio

完全ローカルで動くElevenLabs代替の音声スタジオ — VoiceStudioはクラウド不要・完全ローカルで動くElevenLabsの代替ツールです。646言語対応の音声クローン、音声デザイン、動画の吹き替え、ディクテーション、文字起こし、オーディオブック生成までを一括で扱えます。CUDAやMLXにも対応し、ローカルAPI/MCPでエージェント連携も可能な点が特徴です。

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

jamiepine/voicebox

完全ローカルで動くOSSのAI音声スタジオ — Voiceboxは声のクローン、テキスト読み上げ、どのアプリにも使えるディクテーションまでこなす音声I/OスタックをローカルPC上で完結させるOSSツールです。Qwen3-TTSやWhisperを活用し、クラウド任せの音声AIサービスと違い自分の声を自分だけの環境で管理・利用できる点が特徴です。

The open-source AI voice studio. Clone, dictate, create.

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

SGLang is a high-performance serving framework for large language models and multimodal models.

bendlang/bend

AI時代の証明付き超高速プログラミング言語Bend — BendはAIが実装したコードの正しさを数学的証明で検証できる新言語です。依存型と線形性により、CPUではC言語並み、GPUではCUDA並みの速度を実現しつつ、証明チェックも既存の定理証明系より桁違いに高速です。AIとの協働開発で「意図のズレ」を防ぎたい開発者に刺さる設計です。

Bend 2: a fast language that blocks AI mistakes via proof. Install: curl -fsSL https://bend-lang.com/install.sh | sh

tracel-ai/burn

RustでPyTorch超え目指すテンソル/DLフレームワーク — Burnは学習と推論を同一コードで実行できるRust製テンソルライブラリ兼深層学習フレームワークです。ONNXエクスポートなしに訓練コードがそのまま本番で動き、カーネル融合JITにより動的グラフの柔軟さと高速性を両立します。CUDA/Metal/WebGPU/ROCmなどマルチプラットフォーム対応で、研究向けの速い編集・実行サイクルも実現しています。

Burn is a next generation tensor library and Deep Learning Framework that doesn't compromise on flexibility, efficiency and portability.

vosen/ZLUDA

NVIDIA以外のGPUでCUDAを動かすZLUDA — ZLUDAはCUDAアプリケーションを改変せずにNVIDIA以外のGPU上で動作させるドロップイン互換レイヤーです。ほぼネイティブ同等の性能を実現し、AMDやIntelのGPUでもCUDA資産を活用できるようにする点が注目されています。Rust製で開発が継続されている点も特徴です。

CUDA on non-NVIDIA GPUs

NVIDIA/TensorRT-LLM

NVIDIA製、GPU最適化LLM推論エンジン — NVIDIA GPU上でLLMを高速推論するためのライブラリです。専用カーネルや効率的なランタイムにより、PythonからLLMを定義しつつ最新の最適化を適用でき、Blackwell世代GPUやMoEモデルにも対応。大規模サービング用途で性能を追求するエンジニアに向いています。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

NVIDIA/cuda-rust

CUDAカーネルを純粋なRustで書けるコンパイラ — NVIDIA発のcuda-oxideは、rustc独自バックエンドで#[kernel]関数をCUDA PTXへ直接コンパイルするプロジェクトです。DSLや外部言語バインディング不要で、ホスト・デバイスコードを同一ファイルに記述する単一ソース設計が特徴。型安全な共有メモリ操作やスコープ付きアトミック、warp/cluster操作など、Rustらしい安全な抽象化でGPUプログラミングに新しい選択肢を提示します。

NVIDIA's CUDA platform for Rust. Host runtime crates plus Tile (cutile-rs) and SIMT (cuda-oxide) kernel programming models in idiomatic Rust.

SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

harry7557558/spirula-studio

COLMAP不要、単体バイナリで動く3DGS学習ツール — 動画や写真から3D Gaussian Splattingモデルを学習し、メッシュまで生成できる自己完結型ツールです。Python/PyTorchやCOLMAPが不要で、VulkanによりNVIDIA・AMD・Intel・AppleのGPUで動作します。量子化学習で8GB VRAMでも1000万Gaussianを扱え、魚眼・360度カメラにもネイティブ対応しています。

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

sgl-project/sglang-omni

音声・マルチモーダルAIを高速配信するSGLang派生フレームワーク — SGLang-OmniはTTSやASR、統合マルチモーダルモデルに特化した高性能サービングフレームワークです。SGLangの技術基盤を活かし、ストリーミングや分散推論、OpenAI互換APIに対応することで、音声・マルチモーダルAIの実運用を容易にします。

SGLang-Omni is a high-performance serving framework for audio models (TTS, ASR) and unified multimodal models.

Sparticle62ops/pssa

Transformerに依存しないRust製の新アーキテクチャ言語モデル — PSSAはPyTorchやTensorFlowを使わず、Rustでスクラッチ実装された状態空間ベースの小型言語モデルです。トークンを逐次処理し、ハイパボリック空間の記憶バンクと自己書き換え型の重みを持つことで、同条件のTransformerより学習が速く推論も約12倍高速という独自アプローチが特徴です。アーキテクチャ研究者やRustでMLを実装したい人に刺さる内容です。

PSSA: a non-transformer language model written from scratch in Rust. Recurrent state-space layer, episodic memory, self-modifying weights, CUDA training, and a full terminal dashboard.

ymcrcat/rgpu

MacでもCUDA不要、リモートGPUでPyTorchを動かす — CUDA非搭載のMacなどからPyTorchテンソル演算をリモートのNVIDIA GPUに透過的にオフロードできるツールです。専用deviceを使う簡単な方式と、既存のLinux CUDAバイナリをそのまま動かせるCUDAシム方式の2経路を提供し、ローカル開発環境を変えずに手元に無いGPUを活用できます。

Keep Python on your laptop. Run PyTorch operations and hold tensors on a remote GPU, including from a Mac with no CUDA installation.