LLM・機械学習

microsoft/markitdown

様々なファイルをLLM向けMarkdownに変換するMicrosoft製ツール — PDFやWord、Excel、画像、音声、YouTube動画までを構造を保ったままMarkdownに変換するPythonツールです。textractに似ていますが、見出しや表、リンクなどの文書構造をLLMが理解しやすい形式で保持する点が特徴です。LangChainやAutoGenと組み合わせたLLM前処理パイプラインに最適です。

Python tool for converting files and office documents to Markdown.

ollama/ollama

ローカルLLM実行を誰でも簡単にするOllama — Kimi、GLM、DeepSeek、Qwen、Gemmaなど多様なオープンモデルをワンコマンドでダウンロード・実行できるツールです。Claude CodeやCopilot CLIなど既存のコーディングエージェントとの統合も充実し、ローカルLLM利用のハードルを大きく下げています。

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.

cactus-compute/needle

小型デバイス向け超軽量AI基盤モデル「Needle」 — Needleは8〜29MBの2bit量子化モデルで、スマホやウェアラブル、車、マイコンなどオンデバイスで動作します。ツール呼び出しは10倍大きいモデルを上回り、構造化抽出でも2〜3倍のモデルに匹敵する精度を実現。文埋め込みも同一モデルで扱え、エッジAI開発者に最適です。

Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, ASR, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.

xai-org/x-algorithm

XのおすすめフィードAlgorithm、ついにコード公開 — X（旧Twitter）の「おすすめ」フィードで表示順を決めるコア実装がRustで公開されました。フォロー内/外コンテンツの取得からML検索、トランスフォーマーによるスコアリング・ランキング、フィルタリングまで一連の仕組みが読めます。SNSのレコメンドは通常ブラックボックスですが、重み付けの仕組みや法的要請による表示制限の透明化レポートまで含む点が特に注目されます。

Algorithm powering the For You feed on X

lightseekorg/tokenspeed

制御面とPython実行面を分離した新型LLM推論エンジン — TokenSpeedはエージェント向けワークロードに特化したLLM推論エンジンで、C++のスケジューラ（制御面）とPythonの実行面を分離した点が特徴です。KV cacheの安全な再利用を型システムでコンパイル時に保証しつつ、Blackwell向け最速クラスのMLAカーネルなどでTensorRT-LLM並みの性能とvLLM並みの使いやすさを両立します。PyTorch Foundationからもアーキテクチャの独自性が評価されています。

TokenSpeed is a speed-of-light LLM inference engine.

MakazhanAlpamys/Soup

4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

AlexsJones/llmfit

手元のマシンで動くLLMを一発診断するRust製CLI — CPU・RAM・GPU・VRAMを解析し、数百のモデルとプロバイダーの中から自分のハードウェアで実際に動くGGUF/MLX/Unslothモデルを提案してくれるツールです。ベンチマーク機能で実測tok/sを計測し、TUIから直接PRとして共有・蓄積できる点も新しく、コミュニティで精度が向上していく仕組みが特徴です。

Hundreds of models & providers. One command to find what runs on your hardware.

vercel/ai

Next.js開発元が贈るTypeScript向けAI SDK — Vercelが手がける無料オープンソースのAIツールキットで、OpenAIやAnthropic、Geminiなど複数のLLMを統一的なAPIで扱えます。React・Svelte・Vueに対応し、ストリーミングUIやgenerative-uiの構築が容易で、Next.jsとの親和性の高さが既存のAIライブラリとの差別化点です。

The AI Toolkit for TypeScript. From the creators of Next.js, the AI SDK is a free open-source library for building AI-powered applications and agents

NVIDIA/Personal-AI-Router

家庭内の複数端末でLLM推論を自動分散するルーター — NVIDIA PAIRは、同一ネットワーク上の複数PCを発見し、OllamaやLlama Studioなどの推論エンジンをノード間でまとめて管理するローカル推論ルーターです。OpenAI・Anthropic・Ollama互換APIを提供しつつ、モデルの有無やGPU負荷に応じてリクエストを最適なノードへ振り分けます。GPUメモリ統合ではなく、独立したリクエスト単位でのルーティングに特化しており、プロンプトとレスポンスをローカルに留めたいマルチエージェント用途に向いています。

Router that virtually distributes inference across connected devices in the home.

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

A high-throughput and memory-efficient inference and serving engine for LLMs

unslothai/unsloth

LLM/画像生成モデルをローカルで動かすデスクトップアプリ — Unslothはローカル環境でLLMや拡散モデルの実行・学習ができる初のデスクトップアプリです。GGUFやMLX形式に対応し、Qwen3.8やDeepSeek-V4、Gemma、FLUXなど最新モデルを幅広くサポート。クラウド不要でファインチューニングまで完結できる点が特徴です。

Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.

magnitudedev/magnitude

自分のマシンに最適なローカルLLMを自動選択・実行 — Magnitudeは手元のPCやMacのハードウェアをプロファイリングし、最適なモデルを自動でおすすめ・ダウンロード・チューニングして実行してくれる推論エンジンです。Apple Silicon、NVIDIA、AMD、さらにCPUのみの環境でも動作し、Ollamaなどと異なりハード性能に応じたモデル選定まで自動化してくれる点が特徴です。既存のエージェントともワンクリックで連携できます。

Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, Intel, or just a CPU.

Vibra-Ingenn/Janus

PythonもDockerも不要、単一バイナリで動くローカルLLMサーバー — JanusはGo製の単一実行ファイルで.ggufモデルを動かし、OpenAI互換API（/v1/chat/completions等）を公開するローカルLLMサーバーです。Vulkan経由でAMD/Intel/NVIDIAのGPUやCPUで推論でき、Ollamaのような外部依存なしに手軽にCursorやClineなどへ組み込めるのが特徴です。モデルのホットスワップや思考過程の分離表示にも対応しています。

Janus is a API router for AI models written in Go and has a Vulkan Model runner

huggingface/transformers

最先端モデルを統一的に扱うTransformers — テキスト・画像・音声・マルチモーダルの最先端モデルを共通APIで推論・学習できるフレームワークです。Qwen・Gemma・DeepSeekなど主要LLM/VLMにも対応し、Hugging Face Hubの事前学習モデルを即活用できる点が強みです。研究者・実務者双方にとって事実上の標準ツールとなっています。

🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

youssofal/MTPLX

Apple Silicon上でQwen3.8を高速推論するMTPLX — MTPLXはApple Silicon向けに、モデル自身のマルチトークン予測(MTP)ヘッドを使って複数トークンを先読みし、厳密な棄却サンプリングで検証するローカル推論エンジンです。M5 Maxで125tok/sを実測し、通常デコードの約2倍速でありながら出力分布は変えません。OpenAI/Anthropic互換APIでOpenCodeやClaude Code等から利用でき、Qwen3.8やGemma系モデルに対応します。

The fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.

promptfoo/promptfoo

OpenAI傘下となったLLM評価・レッドチームツールPromptfoo — PromptfooはLLMアプリ、エージェント、RAGをテスト・レッドチーム診断できるCLI/ライブラリです。宣言的な設定でCI/CDに統合でき、OpenAIやAnthropicでも利用されています。最近OpenAIの一員となりましたが、OSSのままMITライセンスで提供され続けています。

Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.

leejet/stable-diffusion.cpp

llama.cppスタイルで動く純C/C++の画像・動画生成推論エンジン — ggmlベースでSD、Flux、Wan、Qwen Image、Z-Imageなど最新の拡散モデルを純粋なC/C++で推論できるプロジェクトです。外部依存なしの軽量実装で、llama.cppと同じ思想でCPU/GPU上に画像・動画生成モデルを動かせる点が特徴です。新モデルへの対応も非常に早く、活発に開発が続いています。

Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,...) inference in pure C/C++

jingyaogong/minimind

3元・2時間で作る64MパラメータLLM — わずか3元のGPU代と2時間の学習で64MパラメータのLLMをゼロから構築できるプロジェクトです。事前学習・SFT・LoRA・DPO/PPOなどRLHF、MoEまで全工程をPyTorchでフルスクラッチ実装し、個人GPUでも再現可能。LLMの内部構造を理解したい学習者向けの教材としても優れています。

🧠 Train a 64M-parameter LLM from scratch in just 2h!

infiniflow/ragflow

RAGとAgentを融合したOSS検索基盤 — RAGFlowは、深い文書理解に基づくRAGとAgent機能を組み合わせ、LLMに高品質なコンテキストを提供するオープンソースエンジンです。単純な検索拡張ではなく、複雑な文書構造の解析や知識のコンパイル、エージェント的な検索プロセスを組み込んでいる点が既存RAGツールとの差別化ポイントです。

RAGFlow is a leading open-source Retrieval-Augmented Generation (RAG) engine that fuses cutting-edge RAG with Agent capabilities to create a superior context layer for LLMs

docling-project/docling

多様な文書をAI活用可能な形式に変換するDocling — PDF・DOCX・PPTXなど多様な文書を高精度に解析し、レイアウトや表構造を保った統一表現「DoclingDocument」に変換するツールです。Markdown・JSON等への出力やOCR、VLM対応も備え、LangChainやLlamaIndexなど生成AIエコシステムとの連携が容易な点が特徴です。

Get your documents ready for gen AI

LibreTranslate/LibreTranslate

Google非依存の自前ホスト型翻訳API — GoogleやAzureなどの商用サービスに頼らず、オープンソースのArgos Translateエンジンで動く自己ホスト型の機械翻訳APIです。オフラインでも利用でき、プライバシーを重視する開発者やセルフホスト環境を求めるユーザーに最適です。

Free and Open Source Machine Translation API. Self-hosted, offline capable and easy to setup.

roboflow/rf-detr

DINOv2搭載のリアルタイムSOTA物体検出DETR — RoboflowによるRF-DETRは、DINOv2をバックボーンに採用したTransformerベースの物体検出・インスタンス/キーポイント検出モデルです。COCOでSOTAの精度とレイテンシのバランスを実現しつつ、独自データセットへのファインチューニングを前提に設計されており、NASによる最適アーキテクチャ探索もサポートします。

RF-DETR is a real-time object detection and segmentation model architecture developed by Roboflow, SOTA on COCO, designed for fine-tuning. [ICLR 2026]

nyosegawa/speech.cpp

ggml駆動の音声合成・認識オールインワンCLI — whisper.cppやllama.cppと同じggmlエンジン上で、TTS・ASR・VADをひとつのCLI/ライブラリに統合したC++実装です。Qwen3-TTSやReazonSpeechなど複数モデルに対応し、Metal/Vulkan/CPUで動作。OpenAI互換サーバーやライブ文字起こしも備え、音声対話アプリを手早く組める点が特徴です。

Speech synthesis, speech recognition and voice activity detection for voice conversation, in C++ on ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet and Silero VAD on Metal, Vulkan and the CPU, with an OpenAI-compatible server and live transcription.

PrismML-Eng/llama.cpp

低ビット量子化特化のllama.cpp派生版 — llama.cppをベースにBonsaiモデル向けの三値（ternary）量子化フォーマットや投機的デコード機能を追加したフォークです。独自の低ビットGGUF形式に対応し、Metal/CUDA/HIP/CPUなど各バックエンドで動作します。既存モデルとの互換性にも配慮した設計が特徴です。

LLM inference in C/C++

asgeirtj/system_prompts_leaks

主要AIチャットボットのシステムプロンプト流出集 — Claude・ChatGPT・Gemini・Grokなど有名チャットボットの内部システムプロンプトを逐語で収集・整理したリポジトリです。Washington PostやAI Worldなど報道機関の記事にも引用されるほど信頼性が高く、AIの「裏の指示」を知りたい開発者やプロンプトエンジニアに刺さる内容です。継続的に更新されている点も魅力です。

Documented system prompts from Anthropic - Claude Fable 5.1, Opus 5.5, Claude Design, Claude Code. OpenAI - ChatGPT GPT-6-Astra, Codex. Google - Gemini 3.8 Flash, 3.1 Pro, Antigravity. xAI - Grok, Grok Bot, Cursor, Kimi and more! Updated regularly.

looplj/axonhub

100以上のLLMを統一APIで扱えるOSS AIゲートウェイ — AxonHubはOpenAI・Anthropic・Geminiなど100以上のLLMを、既存SDKやコード変更なしで呼び出せるOSSのAIゲートウェイです。フェイルオーバーやロードバランシング、コスト管理、エンドツーエンドのトレーシングを標準搭載し、複数モデルを使うAIアプリの運用基盤として企業利用にも耐える設計です。Go製で自前ホストしたいチームに向いています。

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

higgsfield-ai/higgsfield

数千億パラメータ級LLMを泣かずに学習するGPUオーケストレーション — Higgsfieldは巨大言語モデルの分散学習に特化したOSSフレームワークです。ZeRO-3やPyTorchのFSDPに対応し、GPUリソース管理・実験キュー・GitHub連携まで備えることで、Llama等のマルチノード学習を数行のコードで実現できます。MLOps基盤としての運用性も強みです。

Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

isaac-sim/IsaacLab

マルチ物理バックエンド対応へ進化したGPU駆動ロボット学習基盤 — Isaac Lab 3.0.0はNewton、OVRTX、OVPhysX、Isaac Simといった複数の物理・レンダリングバックエンドに対応し、sim-to-real転移の精度向上を目指します。16種類超のロボットモデルと30超の強化学習環境を備え、RSL RLやSKRL、RL Games、Stable Baselinesと連携可能で、マルチエージェント強化学習にも対応しています。

Unified framework for robot learning with multi-physics/renderer support

ZhuLinsen/daily_stock_analysis

LLMで株を読む、多市場対応の自動分析ダッシュボード — A株・香港株・米株・日株・韓株・台株を対象に、LLMが決算・ニュース・チャートを統合分析し、評価・売買ポイント・リスクを含む決断ダッシュボードを毎日自動生成します。企業微信やSlack、Telegramなどへの無料枠での自動配信や、Web/デスクトップでの対話式戦略問い合わせにも対応し、個人投資家の情報収集コストを大幅に下げます。

LLM 驱动的多市场股票智能分析系统：多源行情、实时新闻、决策看板与自动推送，支持零成本定时运行。 LLM-powered multi-market stock analysis system with multi-source market data, real-time news, decision dashboard, automated notifications, and cost-free scheduled runs.

PaddlePaddle/PaddleOCR

70k超のスター、LLM時代の決定版OCR/文書解析エンジン — PDFや画像をLLM向けのMarkdown/JSON構造化データへ変換するOCRツールキットです。軽量VLM「PaddleOCR-VL」やPP-StructureV3により、表・数式・古文書・印章まで高精度に解析できます。DifyやRAGFlowなど有名RAG/AIエージェント基盤の裏側で採用されており、100以上の言語に対応します。

Turn any PDF or image document into structured data for your AI. A powerful, lightweight OCR toolkit that bridges the gap between images/PDFs and LLMs. Supports 100+ languages.