NVIDIA/TensorRT-LLM

★14,969Python🇺🇸 北米発NOASSERTION⑂ 2,878Issue 693更新 2026年10月29日

GitHubで見る ↗公式サイト ↗

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

NVIDIA製、GPU最適化LLM推論エンジン — NVIDIA GPU上でLLMを高速推論するためのライブラリです。専用カーネルや効率的なランタイムにより、PythonからLLMを定義しつつ最新の最適化を適用でき、Blackwell世代GPUやMoEモデルにも対応。大規模サービング用途で性能を追求するエンジニアに向いています。

指標

指標の定義はこのサイトについて を参照。

star推移とTrending掲載（直近30日）

リポジトリ作成 2023/8/17・trending初掲載 2026/9/20

同じカテゴリの注目リポジトリ（LLM・機械学習）

• pst2154/nemotron-deciffusion1GPU・1パスで構造化判断を返す拡散型LLM
• todesking/slopsamplerAIっぽい「スロップ文章」を収集・分析するプロジェクト
• datalab-to/indraわずか100万パラメータの爆速CPU OCR「Indra」
• fudan-generative-vision/Remory要約で失われる文脈を学習記憶で補う
• google-pytorch/torch_tpuPyTorchをGoogle TPUで動かすバックエンド「TorchTPU」

LLM・機械学習 の全リポジトリを見る →

cuda 内の順位

cuda の全リポジトリを見る →