transformer

huggingface/transformers

最先端モデルを統一的に扱うTransformers — テキスト・画像・音声・マルチモーダルの最先端モデルを共通APIで推論・学習できるフレームワークです。Qwen・Gemma・DeepSeekなど主要LLM/VLMにも対応し、Hugging Face Hubの事前学習モデルを即活用できる点が強みです。研究者・実務者双方にとって事実上の標準ツールとなっています。

vllm-project/vllm

PagedAttentionで高速・低コストなLLM推論 — vLLMはUC Berkeley発のLLM推論・サービングエンジンで、PagedAttentionによるメモリ効率化や連続バッチング、多様な量子化形式に対応し高スループットを実現します。GPUだけでなくAMD/CUDA/TPUなど幅広いハードウェアに対応し、2000人超のコントリビューターが支える活発なOSSです。

labmlai/annotated_deep_learning_paper_implementations

注釈付きコードで学ぶ60以上の深層学習論文実装集 — PyTorchによる実装に、注釈ノートを並べて解説する論文実装集です。Transformer、GAN、強化学習、オプティマイザなど60以上を網羅し、ほぼ毎週更新されています。コーディングエージェント向けの実装スキルも案内されており、論文を読むより実装として理解したい学習者やエンジニアに向いています。

p-e-w/heretic

LLMの検閲を全自動で除去するHeretic — Heretic は transformer 系言語モデルから安全性アライメント（検閲）を高コストな再学習なしで除去するツールです。abliteration手法とOptunaによるTPE最適化を組み合わせ、拒否応答数と元モデルとのKLダイバージェンスを同時最小化することで、知能を保ったまま自動で検閲解除モデルを生成できます。CLI操作のみで専門知識不要な点が特徴です。

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

fishaudio/fish-speech

SOTA Open Source TTS

SYSTRAN/faster-whisper

Faster Whisper transcription with CTranslate2

FlashML-org/FreeToken

290B超のMoEモデルを個人PCで動かすエッジ推論エンジン — FreeTokenはデータセンター級の巨大MoEモデルをゲーミングPCなどの一般ハードウェアで高速に動かすエッジ特化型推論エンジンです。GPU・CPU・メモリを統合的に扱うq⋆ポリシーやセマンティックキャッシュ、弾性メモリ管理により、DeepSeek-V4やQwen、GLMなど大規模モデルのローカル実行を効率化します。

FareedKhan-dev/kimi-k3-in-c

2.78兆パラメータKimi K3をGPUなしでCPU推論 — 2.78兆パラメータのKimi K3モデルを、BLASやフレームワーク不要の176KBのポータブルC99エンジンで、単一CPU・最大8.24GBのRAMで動かすプロジェクトです。1.56TBのチェックポイントをディスクからストリーミングするため、メモリが少なくても動作し、増やせば速度が向上します。巨大MoEモデルを普通のハードウェアで試したい人に向いています。

vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

Interactive-Active-AI/NextTransformer

:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers/LLM, with compute-matched benchmarking and a platform for autonomous architecture research.

mottopanikeiku/doomformer

整数ニューラルネットをDOOMマップへコンパイルする奇書的実験 — Doomformerは整数ニューラルネットワークをZDoomマップにコンパイルし、ブードゥー人形の演算とセクターの明るさ・高さで数値を保持してViZDoom上で実行します。全ての値をNumPyの参照結果と誤差0で照合します。手書き数字も分類できますが、NumPyより最大65,000倍遅い、エソテリックコンピューティングの実験作です。