LLM・機械学習

NVIDIA/TensorRT-LLM

NVIDIA製、GPU最適化LLM推論エンジン — NVIDIA GPU上でLLMを高速推論するためのライブラリです。専用カーネルや効率的なランタイムにより、PythonからLLMを定義しつつ最新の最適化を適用でき、Blackwell世代GPUやMoEモデルにも対応。大規模サービング用途で性能を追求するエンジニアに向いています。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

SGLang is a high-performance serving framework for large language models and multimodal models.

elder-plinius/G0DM0D3

制約を外したマルチモデルAIチャットUI — G0DM0D3は複数のAIモデルを並行実行し最良の応答を探すオープンソースのチャットインターフェースです。レッドチーミングや認知研究向けのプロンプト摂動エンジンや自動チューニング機能を備え、ローカルモデル実行やプライバシー重視の設定にも対応しています。ハッカーや研究者に向けた実験的なツールです。

LIBERATED AI CHAT

opendatalab/MinerU

PDF・Office文書をLLM対応データに変換する解析基盤 — MinerUはPDFやWord・PowerPoint・Excelなど多様な文書形式をレイアウト解析・OCRで読み取り、LLMやRAG向けのMarkdown/JSONに変換するツールです。4段階の解析精度と文書ライブラリ・エージェント読み取り機能を備え、汎用PDFパーサーやOCRライブラリの代替として複雑な表・数式・構造化文書に強みを持ちます。

Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

FlashML-org/FreeToken

290B超のMoEモデルを個人PCで動かすエッジ推論エンジン — FreeTokenはデータセンター級の巨大MoEモデルをゲーミングPCなどの一般ハードウェアで高速に動かすエッジ特化型推論エンジンです。GPU・CPU・メモリを統合的に扱うq⋆ポリシーやセマンティックキャッシュ、弾性メモリ管理により、DeepSeek-V4やQwen、GLMなど大規模モデルのローカル実行を効率化します。

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

leejet/stable-diffusion.cpp

llama.cppスタイルで動く純C/C++の画像・動画生成推論エンジン — ggmlベースでSD、Flux、Wan、Qwen Image、Z-Imageなど最新の拡散モデルを純粋なC/C++で推論できるプロジェクトです。外部依存なしの軽量実装で、llama.cppと同じ思想でCPU/GPU上に画像・動画生成モデルを動かせる点が特徴です。新モデルへの対応も非常に早く、活発に開発が続いています。

Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++

asgeirtj/system_prompts_leaks

主要AIチャットボットのシステムプロンプト流出集 — Claude・ChatGPT・Gemini・Grokなど有名チャットボットの内部システムプロンプトを逐語で収集・整理したリポジトリです。Washington PostやAI Worldなど報道機関の記事にも引用されるほど信頼性が高く、AIの「裏の指示」を知りたい開発者やプロンプトエンジニアに刺さる内容です。継続的に更新されている点も魅力です。

Documented system prompts from Anthropic - Claude Fable 5.1, Opus 5.5, Claude Design, Claude Code. OpenAI - ChatGPT GPT-6-Astra, Codex. Google - Gemini 3.8 Flash, 3.1 Pro, Antigravity. xAI - Grok, Grok Bot, Cursor, Kimi and more! Updated regularly.

lightningpixel/modly

画像から3DモデルをローカルAIで生成するデスクトップアプリ — Modlyは写真やプロンプトから3Dメッシュを生成するオープンソースのデスクトップアプリです。処理はすべて自分のGPU上でローカル実行され、クラウドAPI不要でプライバシーを保てます。Windows・Linux・Apple Siliconに対応し、拡張機能でモデルや処理を追加できる点も特徴です。

Desktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU

QuantumNous/new-api

複数LLMを束ねるAIゲートウェイ — OpenAI・Claude・Geminiなど各社LLM APIを相互変換し、一つのゲートウェイで集約・配信できるオープンソースのAIモデルハブです。個人利用から企業のモデル統合管理まで対応し、DeepSeekやRerankなど多様なモデルを一元的にルーティングできる点が特徴です。

A unified AI model hub for aggregation & distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.

Mesh-LLM/mesh-llm

複数マシンのGPUを束ねて動くLLM分散推論メッシュ — 複数マシンのGPU・メモリをプールし、OpenAI互換APIとして1つのエンドポイントで公開するRust製ツールです。ノードを追加するだけでメッシュが拡張され、モデルをローカル実行・ピアへルーティング・巨大モデルの分割実行から自動選択します。個人や小規模チームが手持ちのマシンを持ち寄って大規模LLMを動かせる点が特徴です。

Distributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.

LibreTranslate/LibreTranslate

Google非依存の自前ホスト型翻訳API — GoogleやAzureなどの商用サービスに頼らず、オープンソースのArgos Translateエンジンで動く自己ホスト型の機械翻訳APIです。オフラインでも利用でき、プライバシーを重視する開発者やセルフホスト環境を求めるユーザーに最適です。

Free and Open Source Machine Translation API. Self-hosted, offline capable and easy to setup.

hexgrad/kokoro

軽量82MパラメータのオープンTTSモデル — わずか82MパラメータながらApacheライセンスで商用利用も可能な軽量TTSモデルKokoro-82Mの推論ライブラリです。大規模モデルに匹敵する音声品質を、より高速・低コストで実現し、Google Colabで手軽に試せる点が特徴です。

https://hf.co/hexgrad/Kokoro-82M

microsoft/markitdown

様々なファイルをLLM向けMarkdownに変換するMicrosoft製ツール — PDFやWord、Excel、画像、音声、YouTube動画までを構造を保ったままMarkdownに変換するPythonツールです。textractに似ていますが、見出しや表、リンクなどの文書構造をLLMが理解しやすい形式で保持する点が特徴です。LangChainやAutoGenと組み合わせたLLM前処理パイプラインに最適です。

Python tool for converting files and office documents to Markdown.

youssofal/MTPLX

Apple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。

The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

danielmiessler/Fabric

AIプロンプトを部品化する統合フレームワーク — FabricはAI活用を「統合の問題」と捉え、クラウドソースされたプロンプト集をCLIやREST APIから呼び出せる形でモジュール化したフレームワークです。乱立するAIアプリを個別に使うのではなく、目的別プロンプトを一元管理・再利用できる点が特徴で、コマンドライン志向の開発者に向いています。

Fabric is an open-source framework for augmenting humans using AI. It provides a modular system for solving specific problems using a crowdsourced set of AI prompts that can be used anywhere.

docling-project/docling

多様な文書をAI活用可能な形式に変換するDocling — PDF・DOCX・PPTXなど多様な文書を高精度に解析し、レイアウトや表構造を保った統一表現「DoclingDocument」に変換するツールです。Markdown・JSON等への出力やOCR、VLM対応も備え、LangChainやLlamaIndexなど生成AIエコシステムとの連携が容易な点が特徴です。

Get your documents ready for gen AI

AlexsJones/llmfit

手元のマシンで動くLLMを一発診断するRust製CLI — CPU・RAM・GPU・VRAMを解析し、数百のモデルとプロバイダーの中から自分のハードウェアで実際に動くGGUF/MLX/Unslothモデルを提案してくれるツールです。ベンチマーク機能で実測tok/sを計測し、TUIから直接PRとして共有・蓄積できる点も新しく、コミュニティで精度が向上していく仕組みが特徴です。

Hundreds of models & providers. One command to find what runs on your hardware.

NVIDIA-NeMo/Switchyard

LLMコールを最安モデルへ自動振り分け — Switchyardは各LLM呼び出しを要件を満たせる最安モデルへ自動ルーティングするツールです。OpenAI/Anthropic API互換を保ちながら、NeMo Relayプラグイン、LiteLLM連携、スタンドアロンプロキシ、ライブラリ埋め込みなど複数の導入経路を提供し、既存のエージェントコードを変更せずコスト最適化とベンチマークを実現します。

Switchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.

marin-community/marin

全プロセスを公開する基盤モデル開発基盤 — Marinは大規模言語モデルの研究開発を支えるオープンソースプラットフォームです。データ収集からトークナイズ、事前学習・事後学習、評価まで全工程を対象とし、失敗した実験も含めて意思決定過程を公開する「オープン開発」を核とする点が特徴です。すでに音声テキストモデルやDNA・タンパク質モデルなど幅広い応用にも使われています。

Open-source framework for the research and development of foundation models.

roboflow/rf-detr

DINOv2搭載のリアルタイムSOTA物体検出DETR — RoboflowによるRF-DETRは、DINOv2をバックボーンに採用したTransformerベースの物体検出・インスタンス/キーポイント検出モデルです。COCOでSOTAの精度とレイテンシのバランスを実現しつつ、独自データセットへのファインチューニングを前提に設計されており、NASによる最適アーキテクチャ探索もサポートします。

RF-DETR is a real-time object detection and segmentation model architecture developed by Roboflow, SOTA on COCO, designed for fine-tuning. [ICLR 2026]

mostlygeek/llama-swap

ローカルAIモデルをホットスワップするGo製プロキシ — llama.cppやvLLMなど複数のローカル推論サーバーを1つの設定ファイルで管理し、リクエストに応じてモデルを自動で切り替えられるツールです。OpenAIとAnthropic両方のAPI互換エンドポイントに対応し、単一バイナリで依存関係なく動作するため導入も簡単です。すでに多くのローカルLLM運用者に使われています。

Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

shiyu-coder/Kronos

Kronos: A Foundation Model for the Language of Financial Markets

jingyaogong/minimind

3元・2時間で作る64MパラメータLLM — わずか3元のGPU代と2時間の学習で64MパラメータのLLMをゼロから構築できるプロジェクトです。事前学習・SFT・LoRA・DPO/PPOなどRLHF、MoEまで全工程をPyTorchでフルスクラッチ実装し、個人GPUでも再現可能。LLMの内部構造を理解したい学習者向けの教材としても優れています。

🧠 Train a 64M-parameter LLM from scratch in just 2h!

huggingface/transformers

最先端モデルを統一的に扱うTransformers — テキスト・画像・音声・マルチモーダルの最先端モデルを共通APIで推論・学習できるフレームワークです。Qwen・Gemma・DeepSeekなど主要LLM/VLMにも対応し、Hugging Face Hubの事前学習モデルを即活用できる点が強みです。研究者・実務者双方にとって事実上の標準ツールとなっています。

🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

infiniflow/ragflow

RAGとAgentを融合したOSS検索基盤 — RAGFlowは、深い文書理解に基づくRAGとAgent機能を組み合わせ、LLMに高品質なコンテキストを提供するオープンソースエンジンです。単純な検索拡張ではなく、複雑な文書構造の解析や知識のコンパイル、エージェント的な検索プロセスを組み込んでいる点が既存RAGツールとの差別化ポイントです。

RAGFlow is a leading open-source Retrieval-Augmented Generation (RAG) engine that fuses cutting-edge RAG with Agent capabilities to create a superior context layer for LLMs

mudler/LocalAI

GPU不要で動く、OpenAI互換のオープンソースAIエンジン — LocalAIはOpenAI API互換のローカルAI実行エンジンで、LLMだけでなく画像・音声・動画生成まで幅広いモデルをGPUなしで動かせます。llama.cppやvLLM、whisper.cppなど最良のバックエンドをそれぞれ個別イメージでラップする「小さなコア」構成が特徴で、クラウド依存を減らしたい開発者やセルフホスト志向のチームに向いています。

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

PaddlePaddle/PaddleOCR

70k超のスター、LLM時代の決定版OCR/文書解析エンジン — PDFや画像をLLM向けのMarkdown/JSON構造化データへ変換するOCRツールキットです。軽量VLM「PaddleOCR-VL」やPP-StructureV3により、表・数式・古文書・印章まで高精度に解析できます。DifyやRAGFlowなど有名RAG/AIエージェント基盤の裏側で採用されており、100以上の言語に対応します。

Turn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100+ languages.

vercel/ai

Next.js開発元が贈るTypeScript向けAI SDK — Vercelが手がける無料オープンソースのAIツールキットで、OpenAIやAnthropic、Geminiなど複数のLLMを統一的なAPIで扱えます。React・Svelte・Vueに対応し、ストリーミングUIやgenerative-uiの構築が容易で、Next.jsとの親和性の高さが既存のAIライブラリとの差別化点です。

The AI Toolkit for TypeScript. From the creators of Next.js, the AI SDK is a free open-source library for building AI-powered applications and agents

run-llama/liteparse

完全ローカルで動く高速PDF解析ツール — LlamaIndexが開発したRust製OSSのPDF解析ツールです。PDFiumで1ページ数msの高速なテキスト抽出を行い、Tesseract内蔵やOCRサーバー連携も可能。クラウド不要でローカル完結し、Markdown/JSON出力やバウンディングボックス取得もでき、RAGパイプライン構築に向いています。複雑な文書はクラウド版LlamaParseへの誘導も用意されています。

A fast, helpful, and open-source document parser

looplj/axonhub

100以上のLLMを統一APIで扱えるOSS AIゲートウェイ — AxonHubはOpenAI・Anthropic・Geminiなど100以上のLLMを、既存SDKやコード変更なしで呼び出せるOSSのAIゲートウェイです。フェイルオーバーやロードバランシング、コスト管理、エンドツーエンドのトレーシングを標準搭載し、複数モデルを使うAIアプリの運用基盤として企業利用にも耐える設計です。Go製で自前ホストしたいチームに向いています。

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.