benchmark

14件のリポジトリ

sharkdp/hyperfine

Rust製の高機能コマンドラインベンチマークツール — hyperfineは複数回実行による統計解析・ウォームアップ・外れ値検出・CSV/JSON/Markdown出力などを備えたCLIベンチマークツールです。任意のシェルコマンドを比較でき、パラメータを変えた計測も可能で、開発者がコマンドの性能差を手軽かつ正確に検証したい場面に最適です。

Rust🇪🇺 欧州発注目度 24
★29,304
NVIDIA/SkillEvaluator

AIエージェントスキルを品質・セキュリティ両面で検証するツール — SkillEvaluatorはAgent Skills仕様のフォルダを対象に、品質ゲートとSkillSpectorによるセキュリティスキャン、スキル適用前後のライブ比較でエージェント挙動への実際の影響を測定します。GitHub/GitLab CIにCLIやテンプレートで組み込め、NVIDIAのVerified Skillsパイプラインの一部として、Claude CodeやCodex系エージェント向けスキル開発者に向いています。

Python🇺🇸 北米発注目度 98
★4,152
TheTumultuousUnicornOfDarkness/CPU-X

CPU-X is a Free software that gathers information on CPU, motherboard and more

C
★2,655
uber/ADR

Uber発、AIエージェント専用の防御基盤ADR — Cursor・Claude Code・CodexなどエージェントツールをUber社内本番環境で守るセキュリティシステムです。未許可AIツールの発見、挙動の可視化、300以上のタスクで17種の攻撃手法を再現するベンチマーク、2段階の脅威検知までを一体で提供し、企業のAIエージェント導入リスクに対応します。MLSys 2026採択論文の実装でもあります。

Python注目度 35
★2,142
ClickHouse/ClickBench

実データで検証する分析DBの再現可能ベンチマーク — ClickBenchは実際のWebアナリティクスデータを匿名化して用い、ClickHouseやDuckDB、BigQuery、Snowflake、Dorisなど多数のOLAP/OLTP/サーバーレスDBを比較するベンチマークです。約20分でシェルスクリプトにより再現可能な点が特徴で、DB選定の参考になります。

Shell🇺🇸 北米発注目度 16
★1,170
lance0/xfr

A modern iperf3 alternative with a live TUI, multi-client server, and QUIC support. Built in Rust.

Rust注目度 47
★591
TIGER-AI-Lab/WebsiteBench

Can AI agents rebuild websites through browser exploration?

Python🇺🇸 北米発注目度 89
★552
Interactive-Active-AI/NextTransformer

:sunrise: A comprehensive, cutting-edge open-source framework for next-generation Transformers/LLM, with compute-matched benchmarking and a platform for autonomous architecture research.

Python🇨🇳 中華圏発注目度 73
★484
grafana/o11y-bench

Grafanaスタックで試すLLMエージェントのSRE能力評価 — o11y-benchはHarborフレームワーク上に構築された、LLMエージェントの可観測性・SRE対応能力を測るオープンベンチマークです。Prometheus・Loki・Tempoを備えた実際のGrafanaスタックに対しエージェントを動かし、決定的チェックとルーブリック評価で採点、HTMLレポートやリーダーボード提出用の成果物を生成します。自前のエージェントやモデルを組み込んで比較できる点が特徴です。

Python🇪🇺 欧州発
★76
composo-ai/DishwasherBench

食洗機を上手に詰められるか、LLMで検証 — 実在するBoschの食洗機を物理シミュレーションで再現し、食器をうまく詰め込んできれいに洗えるかを競うゲーム型LLMベンチマークです。人はブラウザで、AIはMCP経由で同じグリッド上を操作でき、決定論的でリプレイ検証も可能という点がユニークです。

TypeScript
★74
La5u/Parsimony

AIコーディングの「簡潔さ」を測るベンチマーク — AIエージェントがSWE-bench等の公開ベンチマークで生成したパッチを静的解析し、statementや呼び出しなどの「コーディング単位」の増減を数値化します。コードを実行せず公開データから誰でも再計算でき、タスクを解いた際に追加したコード量が少ないモデルほど上位にランクされる独自のリーダーボードを提供します。

Python
★14
momentic-ai/qa-bench

AI QAエージェントが実バグを探す、1,396件ラベル付きベンチマーク — Mo・Codex・Claude Code・Devinの4つのAI QAエージェントを、Gitea・Metabase・Twenty・Saleorの20の製品領域に対して実行し、1,396件の人手レビュー済みバグラベルで採点するベンチマークです。再現性のためデータセットはHugging Faceで公開されており、AIによるブラウザテストエージェントを共通基準で比較したいチームに有用です。

TypeScript🇺🇸 北米発注目度 25
★14
Gramli/Gramli.Framework

ショッピングAIエージェントの脆弱性を検証する実験的プレイグラウンド — Gramli.Frameworkはブログ記事に連動した実験集で、代表例のWebMCP Checkout Trapはツール説明がショッピングエージェントの行動をどう操作しうるかを検証するAngular製電子機器ストアです。予算無視や権限偽装、ワークフロー乗っ取りなど6シナリオを用意し、GeminiやNVIDIAモデルを使うPlaywrightエージェントと組み合わせて検証できます。プロンプトインジェクションの影響を調べたい開発者向けです。

TypeScript🇪🇺 欧州発注目度 25
★8
dchristopoulos/jev-aita

TypeSafeのJev、Reddit AITA判定でSonnet 5と対決 — TypeSafeの高速確率予測モデル「Jev」を、Sonnet 5・GPT-5 nano・ローカルLLMとともにReddit r/AmItheAssholeの770件の投稿で検証したベンチマークです。Brierスコアでは僅差でSonnet 5に次ぐ2位ながら、速度は6.3倍、コストは62倍安く、公式が主張する「40〜200倍高速」との差や、ロジスティック回帰による補正の公平性も検討しています。LLM評価の信頼性に関心がある人に有用です。

Python
★3