LLM・機械学習

opper-ai/jevman-benchmark

LLMにパックマンを操作させるベンチマーク — PAC-MANのゴーストをLLM（TypeSafeのjevやGPT系など）にリアルタイムで操作させ、意思決定の精度や反応速度を競うユニークなベンチマークです。人間 vs AIで対戦したり、各局面での勝率やレイテンシをログで可視化でき、独自モデルの追加評価も可能です。

Pac-Man driven by the jev decision model

lightningpixel/modly

画像から3DモデルをローカルAIで生成するデスクトップアプリ — Modlyは写真やプロンプトから3Dメッシュを生成するオープンソースのデスクトップアプリです。処理はすべて自分のGPU上でローカル実行され、クラウドAPI不要でプライバシーを保てます。Windows・Linux・Apple Siliconに対応し、拡張機能でモデルや処理を追加できる点も特徴です。

Desktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU

nobodywho-ooo/nobodywho

どの端末でも動く、ローカルLLM実行エンジン — NobodyWhoはRust製の推論エンジンで、Gemma・Qwen・Mistralなどのチャット系LLMをオフライン・ローカルで高速に動かせます。GodotやFlutter、React Native、Kotlin/Swiftなど多言語バインディングを備え、ツール呼び出しの型安全な自動生成、画像・音声入力、TTS/STT/VAD機能まで統合しているのが特徴です。ゲームやアプリ開発者がAPIキー不要でオンデバイスAIを組み込みたい場合に刺さります。

NobodyWho is an inference engine that lets you run LLMs locally and efficiently on any device.

fstandhartinger/jevbench

型付き意思決定モデルを評価するJevBenchベンチマーク — JevBenchは、状態と限定された評価基準を渡すと確率付きの型付き回答を返す「Jev系決定モデル」を比較するベンチマークです。プロース生成に依存しないAIシステムを対象に、Imajev-4BやPlumb-4Bなど95以上のモデルをスコア化しランキング公開しており、軽量で高速な決定モデルの開発者や評価者に役立ちます。

JevBench by Benchmark Heaven: benchmark and leaderboard for AI decision models, measuring typed decision accuracy, calibration, latency and cost.

p-e-w/heretic

LLMの検閲を全自動で除去するHeretic — Heretic は transformer 系言語モデルから安全性アライメント（検閲）を高コストな再学習なしで除去するツールです。abliteration手法とOptunaによるTPE最適化を組み合わせ、拒否応答数と元モデルとのKLダイバージェンスを同時最小化することで、知能を保ったまま自動で検閲解除モデルを生成できます。CLI操作のみで専門知識不要な点が特徴です。

Fully automatic censorship removal for language models

sgl-project/sglang

LLM/マルチモーダル推論を高速化するSGLang — SGLangはLLMやVLM、拡散モデルまで対応する高性能推論サーバーです。DeepSeekやQwen、GLMなど最新モデルへの即日対応や、投機的デコーディングなど独自最適化でBlackwellやTPUといった最新ハードウェアで高速推論を実現し、大規模モデル運用者に注目されています。

SGLang is a high-performance serving framework for large language models and multimodal models.

JustVugg/colibri

消費者向けPCで超巨大MoEモデルを動かすCエンジン — Colibrìは744BからKimi K3の2.8Tパラメータまで、frontier級MoEモデルを一般的なPCやヘテロジニアスなハードウェアで動かすピュアC実装の推論エンジンです。外部依存なしでVRAM・RAM・ストレージを単一の階層として扱い、専門家（experts）をディスクからストリーミングすることで巨大モデルを小さなエンジンで扱える点が特徴。GLM・DeepSeek・Qwen・OLMoEなど9系列に対応し、研究プラットフォームとしても位置付けられています。

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

Mesh-LLM/mesh-llm

複数マシンのGPUを束ねて動くLLM分散推論メッシュ — 複数マシンのGPU・メモリをプールし、OpenAI互換APIとして1つのエンドポイントで公開するRust製ツールです。ノードを追加するだけでメッシュが拡張され、モデルをローカル実行・ピアへルーティング・巨大モデルの分割実行から自動選択します。個人や小規模チームが手持ちのマシンを持ち寄って大規模LLMを動かせる点が特徴です。

Distributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.

harry7557558/spirula-studio

COLMAP不要、単体バイナリで動く3DGS学習ツール — 動画や写真から3D Gaussian Splattingモデルを学習し、メッシュまで生成できる自己完結型ツールです。Python/PyTorchやCOLMAPが不要で、VulkanによりNVIDIA・AMD・Intel・AppleのGPUで動作します。量子化学習で8GB VRAMでも1000万Gaussianを扱え、魚眼・360度カメラにもネイティブ対応しています。

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

Friedrich-M/UniMate

多様な骨格を一つのモデルでアニメーション — UniMateは異なる骨格構造を持つキャラクターでも単一モデルでモーションを生成できる統一アニメーション手法です。従来はスケルトンごとに専用モデルが必要でしたが、本手法はその制約を取り払い汎用性を高めています。SIGGRAPH Asia 2026採択で、専用データセットや学習済みモデルも公開されています。

[SIGGRAPH Asia 2026] UniMate: One Unified Model to Animate Diverse Skeletons

cheaper-inference/OmniRoute

359プロバイダーを1窓口に束ねる無料AIゲートウェイ — OmniRouteはClaude・GPT・Gemini・DeepSeekなど1200以上のモデルと359のAIプロバイダーを一つのエンドポイントに統合する無料OSSゲートウェイです。独自のRTK+Caveman圧縮でトークン消費を15〜95%削減し、クォータ枯渇時は自動フォールバック。Claude Code・Cursor・Copilotなど既存ツールと直結でき、月間約16億トークン相当の無料枠をまとめて使い切れる点が特徴です。

Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 900+ contributors

AtomicBot-ai/Atomic-Chat

完全ローカルで動くAIチャット＆推論エンジン — Atomic ChatはTauri製のデスクトップアプリで、GGUFやMLX形式のオープンウェイトLLM（DeepSeek、Qwen、Gemmaなど）を100%オフライン・ローカルで実行できます。クラウドAPI不要でプライバシーを守りたい人や、Apple Silicon環境でエージェント型AIを試したい開発者に向いています。MCP対応で拡張性もあり、ChatGPT代替のセルフホスト型ツールとして注目されています。

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

nekorobiaws-maker/jev-graphrag-poc

ベクトル検索なしのGraphRAG実装例 — エンベディングやベクトル検索を使わず、Jevという判定AIのスコアとしきい値だけでグラフ登録・検索・ホップ判断を行うGraphRAGのPoCです。回答生成のみClaude Haiku 4.5を使い、根拠チャンクIDつきJSONで引用検証も行う点が特徴的です。

エンベディングを使わない判断特化型GraphRAGのPoC（判定はJev、回答はClaude Haiku 4.5）

MDX-Tom/gpt-instruct

Codex向けgpt系ジェイルブレイク＆検証ツール群 — GPT系モデル向けのCodex脱獄プロンプトと再現性ある評価ツールチェーンです。複数のモデル分岐（gpt-5.6-sol、gpt-6-astraなど）を並行維持し、複雑タスクの初回実行精度や工程の連続性、成果物検証、ロールバック性を重視した評価指標付きで公開しています。

A Codex jailbreak prompt and test pack for gpt. 针对 gpt 系列的 Codex 破甲提示词与测试包。

shiyu-coder/Kronos

Kronos: A Foundation Model for the Language of Financial Markets

tphakala/birdnet-go

ラズパイで常時稼働する野鳥AI音声解析 — BirdNET-Goは鳥・コウモリなど野生動物の鳴き声を24時間リアルタイム解析するセルフホスト型ツールです。TensorFlowベースの複数AIモデルをRaspberry Piなどローカル環境で推論でき、クラウド依存のBirdNET-Piと異なりプライバシーと省電力を重視する人に向いています。Go製で軽量なのも特徴です。

Self-hosted realtime soundscape analyser for birds, bats and other wildlife. Multi-model local AI inference, runs 24/7 on a Raspberry Pi.

beatrizalmeidaf/papero-pdf-text-extractor

MLモデル不要、CPUだけで動くPDF構造抽出ツール — paparoはPDFをMarkdown・JSON・Word・Excelへ変換するオープンソースAPIです。テキストだけでなく読み順・表・数式・図の位置まで構造を復元できるのが特徴で、ML不要・CPUのみで高速動作し、ブラウザ上でも処理できるためファイルを外部に保存せず安全に使えます。RAGや検索、LLM用のデータ前処理に向いています。

Fast, open-source PDF text extraction API. Files never stored.

router-for-me/CLIProxyAPI

複数CLI型AIをまとめてAPI化するプロキシ — Antigravity、ChatGPT Codex、Claude Code、Grok、Muse CodeなどのCLI専用AIを、OpenAI/Gemini/Claude/Codex互換のAPIとして扱えるようにするプロキシサーバーです。複数アカウントをローカルでまとめて管理でき、既存のOpenAI/Gemini/Claude対応クライアントやSDKからそのまま各社モデルを呼び出せる点が特徴です。

Wrap Antigravity, ChatGPT Codex, Claude Code, Grok Build, Muse Code, Devin as an OpenAI/Gemini/Claude/Codex compatible API service, allowing you to enjoy the free Gemini Series, GPT Series, Grok Series, Claude model through API

google/langextract

Google製、LLMで文章から構造化データを抜き出すライブラリ — LangExtractはGeminiなどのLLMを使い、臨床記録やレポートなどの非構造テキストから構造化情報を抽出するPythonライブラリです。抽出結果を元テキストの正確な文字位置に紐づける「ソースグラウンディング」と、結果をインタラクティブに可視化できる点が特徴で、医療文書解析や大規模テキストの情報抽出を行う開発者に有用です。

A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.

EricLBuehler/mistral.rs

Rust製の高速・柔軟なLLM推論エンジン — Rustで書かれたLLM推論エンジンで、OpenAI互換API、GGUF/UQFF量子化、LoRA、マルチモーダル対応、Skillsやファイル入力などのエージェント機能まで幅広くサポートします。llama.cppやvLLMと競合しつつ、Rustの安全性と速度を活かしたい開発者に向いています。継続的な新機能追加が活発で、実験的なモデル対応も早いのが特徴です。

Fast, flexible LLM inference

k2-fsa/OmniVoice

600言語対応のゼロショット音声クローンTTS — OmniVoiceは600以上の言語に対応する大規模多言語ゼロショットTTSモデルです。拡散言語モデル風の新アーキテクチャにより高速かつ高品質な音声生成を実現し、声のクローンに加え性別・年齢・訛りなどを指定できるボイスデザイン機能も備えています。既存TTSより圧倒的に広い言語カバレッジが特徴です。

High-Quality Voice Cloning TTS for 600+ Languages

Low-Zi-Hong/ESP32s3-LLM-Cluster

7台のESP32-S3で動くBitNet LLMクラスタ — ESP32-S3を7台SPIデイジーチェーンで接続し、0.4BパラメータのBitNet（1.58bit三値量子化）言語モデルをパイプライン分散推論させるプロジェクトです。マスターがトークナイザと埋め込みを担当し、各ノードがTransformer層を分担処理する構成で、超低リソースな組込み機器上でLLM推論を実現する試みとして独自性があります。

7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantization over SPI daisy-chain

ninjahawk/livenerf

モデル劣化を監視する地道な継続ベンチマーク — リリース後にフロンティアモデルが「こっそり劣化する」という噂を検証するための、決定論的で追記専用のベンチマークです。Claude Opus 5.5を対象に毎日同じ問題セットでスコアを記録し、ベースライン期間との差分を可視化します。モデル提供元への不信感を定量データで検証したい人に刺さる地道な試みです。

Benchmark for tracking model capability after release.

sgl-project/sglang-omni

音声・マルチモーダルAIを高速配信するSGLang派生フレームワーク — SGLang-OmniはTTSやASR、統合マルチモーダルモデルに特化した高性能サービングフレームワークです。SGLangの技術基盤を活かし、ストリーミングや分散推論、OpenAI互換APIに対応することで、音声・マルチモーダルAIの実運用を容易にします。

High Performance Serving Runtime For Interactive Super Intelligence System

linshenkx/prompt-optimizer

AIプロンプトを自動で磨き上げる最適化ツール — 手書き・テンプレート・インポートしたプロンプトを最適化・テスト・評価し、再利用可能な資産として保存できるツールです。Web/デスクトップ/Chrome拡張/Dockerなど多様な形態で利用可能で、小規模モデルの出力品質を大きく改善できる点が特徴です。

An AI prompt optimizer for writing better prompts and getting better AI results.

jamiepine/voicebox

完全ローカルで動くOSSのAI音声スタジオ — Voiceboxは声のクローン、テキスト読み上げ、どのアプリにも使えるディクテーションまでこなす音声I/OスタックをローカルPC上で完結させるOSSツールです。Qwen3-TTSやWhisperを活用し、クラウド任せの音声AIサービスと違い自分の声を自分だけの環境で管理・利用できる点が特徴です。

The open-source AI voice studio. Clone, dictate, create.

SemiAnalysisAI/InferenceX

SemiAnalysis発、オープン推論ベンチマーク基盤 — vLLM・SGLang・TensorRT-LLM等、NVIDIA/AMD双方のGPU上でLLM推論性能を統一的に計測するOSSプラットフォームです。エンドツーエンド推論、通信、カーネルレベルまで階層的にベンチマークでき、OpenAIやMetaなど大手も活用。実運用に即した100万トークン超のマルチターンAgentXベンチマークも特徴です。

Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

maximhq/bifrost

LiteLLMの50倍速、Go製のAIゲートウェイBifrost — OpenAI・Anthropic・AWS Bedrockなど23以上のプロバイダーをOpenAI互換APIで統合するAIゲートウェイです。LiteLLMより50倍高速で5000RPS時のオーバーヘッドは100µs未満、自動フェイルオーバーや負荷分散、ガードレール、1000以上のモデル対応など、エンタープライズ向けLLM運用を支える機能が揃っています。ゼロコンフィグでnpxやDockerから即起動できる点も魅力です。

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.

ashhart/TensorFold

Apple SiliconでLLMを高速厳密推論 — MLXやCUDAを使い、Apple SiliconとNVIDIA GPU上でLLMをOpenAI互換APIとして提供するツールです。MTPヘッドやDFlash2によるドラフト検証を各モデル家系ごとに組み込み、量子化モデルでも高速かつ厳密なデコードを実現します。ローカルでOpenAI API互換のLLMサーバーを立てたい開発者に向いています。

LLM Inference Engine for Metal, CUDA and Vulkan.

jaredpalmer/kev

自前で学習・実行できる小型Jev系意思決定モデル「Kev」 — Qwen3.5/3.8を基盤に、Jevのアーキテクチャを踏襲した小型意思決定モデル群です。Yes/No・選択式・評価の3種の質問を1リクエストで処理でき、較正済み確率をデフォルトで出力します。TypeSafeのSystem One APIと互換性があり、既存SDKをそのままローカルサーバーに向けられる点が特徴です。0.8B〜27Bまで4サイズを公開しています。

Jev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own