LLM・機械学習

lightseekorg/tokenspeed

制御面とPython実行面を分離した新型LLM推論エンジン — TokenSpeedはエージェント向けワークロードに特化したLLM推論エンジンで、C++のスケジューラ（制御面）とPythonの実行面を分離した点が特徴です。KV cacheの安全な再利用を型システムでコンパイル時に保証しつつ、Blackwell向け最速クラスのMLAカーネルなどでTensorRT-LLM並みの性能とvLLM並みの使いやすさを両立します。PyTorch Foundationからもアーキテクチャの独自性が評価されています。

TokenSpeed is a speed-of-light LLM inference engine.

Niko1221/Strata

ゲーミングPCで1250億パラメータAIを動かす — Strataは大規模言語モデルQwen3.8-Flash-Nextを、普通のゲーミングPC（12GB以上のNVIDIA/AMD GPU）上でワンクリック導入して動かせる推論エンジンです。OpenAI/Anthropic互換APIをローカルで提供し、画像入力にも対応。クラウド不要でコーディングエージェントや自作アプリと連携できる点が特徴です。

Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

debpalash/VoiceStudio

完全ローカルで動くElevenLabs代替の音声スタジオ — VoiceStudioはクラウド不要・完全ローカルで動くElevenLabsの代替ツールです。646言語対応の音声クローン、音声デザイン、動画の吹き替え、ディクテーション、文字起こし、オーディオブック生成までを一括で扱えます。CUDAやMLXにも対応し、ローカルAPI/MCPでエージェント連携も可能な点が特徴です。

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

opper-ai/jevman-benchmark

LLMにパックマンを操作させるベンチマーク — PAC-MANのゴーストをLLM（TypeSafeのjevやGPT系など）にリアルタイムで操作させ、意思決定の精度や反応速度を競うユニークなベンチマークです。人間 vs AIで対戦したり、各局面での勝率やレイテンシをログで可視化でき、独自モデルの追加評価も可能です。

Pac-Man driven by the jev decision model

experientiallabs/experiential

LLMゲートウェイでトラフィックからコスト削減とモデル最適化 — BYOK・セルフホスト・1000以上のマーケットプレイスモデルを1つのOpenAI互換APIで統合できるオープンソースゲートウェイです。ユーザーやエージェントごとに利用モデルや予算を制御でき、実際のトラフィックを学習して専用ルーターやモデルへ最適化する点が特徴です。マークアップなしでコストと品質のバランスを取りたいチームに向いています。

Experiential is the open source, zero markup gateway for BYOK, self-hosted and 1000+ marketplace models. It learns from your traffic to cut costs, recommend better models, and train a specialized model you own.

multimodal-art-projection/YuE

記号とオーディオを統合する次世代音楽生成AI — YuE2はシンボリックな作曲とオーディオ生成を統一したフロンティア級の音楽生成モデルです。ゼロショットカバーやエージェント的な音楽編集にも対応し、単なる自動作曲ツールを超えて、構造的なプランニングから音響出力までを一貫して扱える点が新しいです。研究者やクリエイター向けにHugging Faceモデルやベンチマークも公開されています。

YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.

ymcrcat/rgpu

MacでもCUDA不要、リモートGPUでPyTorchを動かす — CUDA非搭載のMacなどからPyTorchテンソル演算をリモートのNVIDIA GPUに透過的にオフロードできるツールです。専用deviceを使う簡単な方式と、既存のLinux CUDAバイナリをそのまま動かせるCUDAシム方式の2経路を提供し、ローカル開発環境を変えずに手元に無いGPUを活用できます。

Keep Python on your laptop. Run PyTorch operations and hold tensors on a remote GPU, including from a Mac with no CUDA installation.

trymirai/uzu

Rust製・端末上で動く高速LLM推論エンジン — Mirai社によるRust製の高性能推論エンジンで、AIモデルをアプリ内に直接組み込み、ゼロレイテンシーと完全なデータプライバシーを実現します。AppleのMetalに対応し、iOS/macOS向けにSwift・Python・TypeScriptバインディングを提供、オンデバイスLLM/TTS実行の選択肢として注目されます。

A high-performance inference engine for AI models

openai/math

OpenAI内製モデルが生成した数学研究論文集 — OpenAIの内部モデルが未解決の数学研究問題に挑んだ成果を集めたリポジトリです。722本の数学的原稿を372のファミリーに分類し、一部はLeanによる形式証明付きで公開されています。AIが数学研究にどこまで迫れるかを示す貴重な実例資料です。

MakazhanAlpamys/Soup

4GB GPUでも8BモデルをLoRA/QLoRA微調整 — YAML一つでLLMのファインチューニングと事後学習をワンコマンド実行できるCLIです。レイヤーストリーミング技術により、家庭用の4GB GPUでも8Bモデルを学習可能にしている点が特徴です。SSHやconfig地獄なしで手軽にLoRA/QLoRA/DPO/SFTを試せます。

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

SamsungLabs/LittleBit

LLMを0.1ビットまで圧縮するLittleBit — Samsung発のLLM超低ビット量子化手法の公式実装です。重み行列を低ランク潜在因子に分解しバイナリ化することで1〜0.1ビット/重みという極端な圧縮を実現し、推論時のアーキテクチャは変更不要です。後継のLittleBit-2では初期化段階でJoint-ITQによる潜在空間の整合を行い、追加コストなしで精度を改善します。Llama、Qwen、Gemmaなど主要モデルに対応しています。

Official implementation of LittleBit (NeurIPS 2025) and its follow-up LittleBit-2 (ICML 2026)

tashfeenahmed/freellmapi

34の無料LLMを1つのAPIに集約するルーター — 34の無料LLMプロバイダー・635の無料モデルエンドポイントを、OpenAI互換の単一/v1エンドポイントに集約するツールです。最適モデルへのスマートルーティング、レート制限時の自動フェイルオーバー、キーごとの使用量管理により無料枠を使い切らずに運用できます。個人の実験用途向けで、鍵は暗号化保存されます。

7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.

hsfzxjy/npunlock

Intel NPUのSHAVEコアでカスタムCカーネルを直接実行 — Intel Core Ultraの公式スタックはグラフレベルのプログラミングしか公開していませんが、npunlockはSHAVEコア向けにカスタムC言語カーネルを書いて実行する未公開の経路をリバースエンジニアリングで再構築しています。Pythonから直接C言語でGELUなどの演算を組み込み、NumPyと結果を比較検証できる点が特徴で、NPUの低レイヤー制御に興味がある開発者・研究者に刺さる内容です。

Write and run custom C kernels for Intel Core Ultra NPUs

google-research/timesfm

Google製の時系列予測基盤モデル TimesFM 3.0 — デコーダーオンリー構造で事前学習された時系列予測基盤モデルです。TimesFM 3.0では多変量予測や過去・未来の共変量サポートが加わり、ゼロショット汎化性能が向上しています。BigQuery MLやVertex AIなどGoogle製品にも統合され、実務での時系列予測に直接活用できる点が特徴です。

TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting.

baidu/Unlimited-OCR

Baidu発、一回で長文書類を解析するOCR — Baiduが公開したOCRモデルで、複数ページにわたる長い文書を一度の推論でまとめて解析できる「One-shot Long-horizon Parsing」を実現しています。vLLMやms-swiftでの学習・推論に対応し、Hugging Faceでも配布されているため既存エコシステムに組み込みやすいのが特徴です。

Unlimited OCR Works: Welcome the Era of One-shot Long-horizon Parsing.

magnitudedev/magnitude

自分のマシンに最適なローカルLLMを自動選択・実行 — Magnitudeは手元のPCやMacのハードウェアをプロファイリングし、最適なモデルを自動でおすすめ・ダウンロード・チューニングして実行してくれる推論エンジンです。Apple Silicon、NVIDIA、AMD、さらにCPUのみの環境でも動作し、Ollamaなどと異なりハード性能に応じたモデル選定まで自動化してくれる点が特徴です。既存のエージェントともワンクリックで連携できます。

Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.

tphakala/birdnet-go

ラズパイで常時稼働する野鳥AI音声解析 — BirdNET-Goは鳥・コウモリなど野生動物の鳴き声を24時間リアルタイム解析するセルフホスト型ツールです。TensorFlowベースの複数AIモデルをRaspberry Piなどローカル環境で推論でき、クラウド依存のBirdNET-Piと異なりプライバシーと省電力を重視する人に向いています。Go製で軽量なのも特徴です。

Self-hosted realtime soundscape analyser for birds, bats and other wildlife. Multi-model local AI inference, runs 24/7 on a Raspberry Pi.

pulse-energy-eu/slopshape

AI生成B2Bブログ記事を見抜く検証用リリース — 論文「SlopShapeもAI生成商用Web文章を構造的特徴だけで検出する研究の再現パッケージです。2,250件の実記事と5モデルによる11,250件のAI生成記事を比較し、構造特徴のみでmacro-F1 97.0を達成。フィクション検出研究StoryScopeの知見がB2Bブログでも成立することを検証コード・プロンプト付きで追体験できます。

Release package for SlopShape: Identifying AI-Generated Commercial Web Content (verification artifacts, instrument, prompts, code)

vllm-project/semantic-router

異種LLM基盤を束ねるプログラマブルなMixture-of-Modelsルーター — vLLMプロジェクトによる、複数モデル・複数コンピュート環境をまたいでリクエストごとに最適なモデルパスを選ぶルーティング層です。品質・コスト・レイテンシ・プライバシー・安全性を、アプリ側にルーティングロジックを書かずに最適化できるのが特徴です。Kubernetesやガードレールとも連携し、AIゲートウェイ的な使い方も想定されています。

An open, programmable decision layer for models and compute.

harry7557558/spirula-studio

COLMAP不要、単体バイナリで動く3DGS学習ツール — 動画や写真から3D Gaussian Splattingモデルを学習し、メッシュまで生成できる自己完結型ツールです。Python/PyTorchやCOLMAPが不要で、VulkanによりNVIDIA・AMD・Intel・AppleのGPUで動作します。量子化学習で8GB VRAMでも1000万Gaussianを扱え、魚眼・360度カメラにもネイティブ対応しています。

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

Tencent/WeKnora

文書をRAGとAIエージェントに変えるTencent製OSS — Tencent製のオープンソースLLM知識プラットフォームです。生の文書を検索可能なRAG、自律的に推論するエージェント、自己更新型Wikiに変換できます。OpenAIやOllamaなど複数LLMに対応し、ベクトル検索・リランキング・マルチテナントまで備えた実用的な社内ナレッジ基盤として注目です。

Open-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.

Sparticle62ops/pssa

Transformerに依存しないRust製の新アーキテクチャ言語モデル — PSSAはPyTorchやTensorFlowを使わず、Rustでスクラッチ実装された状態空間ベースの小型言語モデルです。トークンを逐次処理し、ハイパボリック空間の記憶バンクと自己書き換え型の重みを持つことで、同条件のTransformerより学習が速く推論も約12倍高速という独自アプローチが特徴です。アーキテクチャ研究者やRustでMLを実装したい人に刺さる内容です。

PSSA: a non-transformer language model written from scratch in Rust. Recurrent state-space layer, episodic memory, self-modifying weights, CUDA training, and a full terminal dashboard.

SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

fstandhartinger/jevbench

型付き意思決定モデルを評価するJevBenchベンチマーク — JevBenchは、状態と限定された評価基準を渡すと確率付きの型付き回答を返す「Jev系決定モデル」を比較するベンチマークです。プロース生成に依存しないAIシステムを対象に、Imajev-4BやPlumb-4Bなど95以上のモデルをスコア化しランキング公開しており、軽量で高速な決定モデルの開発者や評価者に役立ちます。

JevBench by Benchmark Heaven: benchmark and leaderboard for AI decision models, measuring typed decision accuracy, calibration, latency and cost.

jaredpalmer/kev

自前で学習・実行できる小型Jev系意思決定モデル「Kev」 — Qwen3.5/3.8を基盤に、Jevのアーキテクチャを踏襲した小型意思決定モデル群です。Yes/No・選択式・評価の3種の質問を1リクエストで処理でき、較正済み確率をデフォルトで出力します。TypeSafeのSystem One APIと互換性があり、既存SDKをそのままローカルサーバーに向けられる点が特徴です。0.8B〜27Bまで4サイズを公開しています。

Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own

Low-Zi-Hong/ESP32s3-LLM-Cluster

7台のESP32-S3で動くBitNet LLMクラスタ — ESP32-S3を7台SPIデイジーチェーンで接続し、0.4BパラメータのBitNet（1.58bit三値量子化）言語モデルをパイプライン分散推論させるプロジェクトです。マスターがトークナイザと埋め込みを担当し、各ノードがTransformer層を分担処理する構成で、超低リソースな組込み機器上でLLM推論を実現する試みとして独自性があります。

7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantization over SPI daisy-chain

diegosouzapw/OmniRoute

359プロバイダーを1窓口に束ねる無料AIゲートウェイ — OmniRouteはClaude・GPT・Gemini・DeepSeekなど1200以上のモデルと359のAIプロバイダーを一つのエンドポイントに統合する無料OSSゲートウェイです。独自のRTK+Caveman圧縮でトークン消費を15〜95%削減し、クォータ枯渇時は自動フォールバック。Claude Code・Cursor・Copilotなど既存ツールと直結でき、月間約16億トークン相当の無料枠をまとめて使い切れる点が特徴です。

Never stop coding. Free MIT AI gateway: one endpoint, 359 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by hundreds of contributors

MDX-Tom/gpt-instruct

Codex向けgpt系ジェイルブレイク＆検証ツール群 — GPT系モデル向けのCodex脱獄プロンプトと再現性ある評価ツールチェーンです。複数のモデル分岐（gpt-5.6-sol、gpt-6-astraなど）を並行維持し、複雑タスクの初回実行精度や工程の連続性、成果物検証、ロールバック性を重視した評価指標付きで公開しています。

A Codex jailbreak prompt and test pack for gpt. 针对 gpt 系列的 Codex 破甲提示词与测试包。

higgsfield-ai/higgsfield

数千億パラメータ級LLMを泣かずに学習するGPUオーケストレーション — Higgsfieldは巨大言語モデルの分散学習に特化したOSSフレームワークです。ZeRO-3やPyTorchのFSDPに対応し、GPUリソース管理・実験キュー・GitHub連携まで備えることで、Llama等のマルチノード学習を数行のコードで実現できます。MLOps基盤としての運用性も強みです。

Fault-tolerant, highly scalable GPU orchestration, and a machine learning framework designed for training models with billions to trillions of parameters

NVIDIA/Personal-AI-Router

家庭内の複数端末でLLM推論を自動分散するルーター — NVIDIA PAIRは、同一ネットワーク上の複数PCを発見し、OllamaやLlama Studioなどの推論エンジンをノード間でまとめて管理するローカル推論ルーターです。OpenAI・Anthropic・Ollama互換APIを提供しつつ、モデルの有無やGPU負荷に応じてリクエストを最適なノードへ振り分けます。GPUメモリ統合ではなく、独立したリクエスト単位でのルーティングに特化しており、プロンプトとレスポンスをローカルに留めたいマルチエージェント用途に向いています。

Router that virtually distributes inference across connected devices in the home.