データ・DB

milvus-io/milvus

大規模RAG時代を支えるベクトルDB Milvus — Milvusは大量の埋め込みデータを高速に検索できるクラウドネイティブなベクトルDBです。HNSWやDiskANNなど複数のANNアルゴリズムを実装し、分散構成で数十億規模のベクトルにも対応。画像検索やLLM/RAGアプリの基盤として、FaissやElasticsearchに代わる選択肢になります。

Milvus is a high-performance, cloud-native vector database built for scalable vector ANN search

getlago/lago

AI時代の従量課金を支えるOSS課金基盤 — LagoはトークンやAPI呼び出しなど任意の利用量を計測し、価格設定・請求・支払い・収益分析まで一気通貫で扱えるオープンソースの課金インフラです。自社製品向けの直接利用（Lago Direct）と、顧客向けに課金機能を組み込めるLago Embeddedの両方に対応し、Stripe課金などSaaS型サービスに依存せず自前で運用できる点が特徴です。Mistral AIやPayPalなど実績のあるAIプロダクト向け料金設計にも強みがあります。

Open Source Metering and Usage Based Billing API ⭐️ Consumption tracking, Subscription management, Pricing iterations, Payment orchestration & Revenue analytics

HelixDB/helix-db

グラフ×ベクトルを一体化したRust製AI向けDB — HelixDBはRustでフルスクラッチ開発されたOLTPグラフDBで、ベクトル検索や全文検索も標準搭載しています。RAGやAIエージェントのメモリ管理に必要なDB群（アプリDB・リレーショナル・ベクトル・グラフ）を1プラットフォームに統合できる点が特徴で、CLIから簡単に構築・運用できます。

HelixDB is an OLTP graph database with native vector and full-text search built in Rust on Object Storage.

nkaz001/hftbacktest

注文キューと遅延まで再現する高頻度取引バックテスター — 板情報(Level-2/3)とティックデータを使い、フィード遅延・注文遅延・注文キュー位置まで考慮した精緻な約定シミュレーションが可能なHFT・マーケットメイキング向けフレームワークです。同じ戦略コードでBinance FuturesやBybitへの実運用botへ移行できる点が特徴で、Rust製で高速、Pythonからも利用できます。

Free, open source, a high frequency trading and market making backtesting and trading bot, which accounts for limit orders, queue positions, and latencies, utilizing full tick data for trades and order books(Level-2 and Level-3), with real-world crypto trading examples for Binance and Bybit

waditu/czsc

「缠中说禅」理論をRustで高速実装した量化取引ツール — 中国株式市場で人気の「缠中说禅」技術分析理論（分型・筆・中枢など）をコア実装した量化取引ライブラリです。1.0からアルゴリズムをRustで書き直しPyO3経由でPythonに公開、速度と拡張性を両立しています。220以上の信号関数を備え、Tushareデータ連携や戦略研究にも対応する中国語圏で広く使われるツールです。

缠中说禅技术分析工具；缠论；股票；期货；Quant；量化交易

pingcap/tidb

AIエージェント時代に備える分散SQL DB「TiDB」 — TiDBはMySQL互換の分散SQLデータベースで、トランザクション処理・分析(HTAP)・ベクトル検索を1つの基盤で統合しています。急激に増減するAIエージェントのワークロードにも対応し、ACID保証を保ちながらデータサイロやリソース競合を排除できる点が特徴です。既存のRDBやNewSQLとは異なり、スケールの天井を意識せず運用できます。

TiDB is built for agentic workloads that grow unpredictably, with ACID guarantees and native support for transactions, analytics, and vector search. No data silos. No noisy neighbors. No infrastructure ceiling.

tokio-rs/toasty

Tokioチーム製、非同期対応のRust向けORM — Tokioエコシステムが手がける非同期ORMです。SQLite/Turso・PostgreSQL・MySQLに加えDynamoDBまで対応し、DB機能を隠さず活かす設計が特徴。derive macroでモデルを定義するだけの手軽さも魅力で、Rustで型安全にDB操作したい人に刺さります。

An async ORM for Rust

tursodatabase/turso

Rust製SQLite互換DB、Postgresも話せる「DBのLLVM」 — RustでSQLiteと互換のインプロセスSQLデータベースを再実装し、実験的にPostgresプロトコルにも対応したプロジェクトです。WebAssembly対応や複数言語向けバインディング（JS/Python/Java）も備え、SQLiteの後継となる汎用DBエンジンを目指しています。既存のSQLiteやlibSQLとの差別化点として注目されています。

A SQL database in Rust: SQLite-compatible, now also speaking Postgres (experimental). The LLVM of databases.

etcd-io/etcd

Kubernetesを支える分散KVストア — RaftアルゴリズムによりKubernetesのバックエンドとして採用されている、分散システムの重要データを堅牢に管理するキーバリューストアです。gRPCベースのシンプルなAPI、TLSによるセキュアな通信、高スループットを兼ね備え、CNCFプロジェクトとして厳格な堅牢性テストを継続しています。

Distributed reliable key-value store for the most critical data of a distributed system

calesthio/Crucix

27種のOSINTを束ねる自分専用インテリジェンス端末 — 衛星火災検知や航空機追跡、放射線モニタリング、経済指標や市場価格、地政学リスクまで27のオープンソース情報源を15分ごとに並列収集し、Jarvis風ダッシュボードに可視化します。LLMと連携すれば異変時にTelegramやDiscordへ多段階アラートを送信し、/briefなどのコマンドで現場から状況確認できる、クラウド不要で自分だけの分析官のようなツールです。

Your personal intelligence agent. Watches the world from multiple data sources and pings you when something changes.

cockroachdb/cockroach

耐障害性を備えた分散SQLデータベース — CockroachDBはKVストア上に構築された分散SQLデータベースで、ディスクやマシン、データセンター障害にも自動復旧しつつ強整合なACIDトランザクションとSQLを提供します。マニュアル操作なしで水平スケールできる点が特徴で、クラウドネイティブな大規模アプリ向けにMySQLやPostgreSQL互換の運用性を求める開発者に向いています。

CockroachDB — the cloud native, distributed SQL database designed for high availability, effortless scale, and control over data placement.

GoogleCloudPlatform/cloud-spanner-emulator

Cloud Spannerをローカルで動かすGoogle公式エミュレータ — Google Cloud Spannerをローカル環境で再現できるオープンソースのエミュレータです。本番サービスと同じ振る舞いを重視して作られており、単体テストや開発時にクラウド接続不要でSpanner対応アプリを検証できます。gcloudコマンドやDockerイメージから簡単に起動できる点も実用的です。

An open source emulator for Cloud Spanner.

karmanyaahm/budget-tools

Bucketsアプリ用の個人家計分析ツール群 — budgeting app「Buckets」のSQLiteデータベースを解析するPython製ツール集です。円グラフで予算配分・実収入・支出をインタラクティブに可視化できるほか、Venmoの取引データ統合や使用時間の金額換算も可能。データはローカルで処理され外部に漏れないため、プライバシーを重視する個人の家計管理に向いています。

microsoft/data-formulator

AIと対話しながらデータを可視化するツール — Microsoft製のAI搭載データ分析ツールです。複数のデータソースを接続し、自然言語での対話を通じてAIエージェントが探索的にデータを可視化・分析します。チャット履歴が長くなりがちな従来のAIチャットと異なり、視覚的なワークスペースで探索過程を整理できる点が特徴です。

🪄 Data Formulator is an interactive AI-powered data analysis system makes it easy to connect, explore and visualize data.

hydra-db/hydradb

S3をそのまま真実の源にするグラフDB — HydraDBはRust製の分散グラフDBで、S3互換オブジェクトストレージを唯一の永続化先としつつ、データノードとインデクサーをストレージから分離して独立にスケールさせる設計が特徴です。OpenCypherやGraphBLASトラバーサル、Neo4j互換Boltにも対応し、Neo4jライクな体験をクラウドネイティブな構成で実現したい人に刺さります。

HydraDB - fast graph database on object storage

apache/seatunnel

160超のコネクタを持つ統合データ統合基盤 — Apache SeaTunnelは構造化/非構造化データに加え動画・画像・埋め込みまで扱えるマルチモーダルなデータ統合ツールです。160以上のコネクタとバッチ/ストリーム統合、CDC対応、Zeta/Flink/Sparkのマルチエンジン実行により、大規模データ同期を高スループット・低レイテンシで実現します。

SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.

chinese-poetry/chinese-poetry

唐詩・宋詞を網羅する最大級の古典詩データベース — 唐宋約1.4万人の詩人による唐詩5.5万首・宋詩26万首、宋代1500人超の詞人による宋詞2.1万首をJSON形式で提供するオープンデータベースです。電子化によりコピー・加工が容易になり、言語処理や文化研究、アプリ開発など幅広い用途に活用できます。

The most comprehensive database of Chinese poetry 🧶最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。

RyanCodrai/turbovec

TurboQuant量子化で省メモリ高速なベクトル検索 — GoogleのTurboQuant量子化を使い、ベクトルを2〜4bit/次元で圧縮したまま直接検索するRust製ベクトルインデックスで、Pythonバインディングも提供します。1000万件の768次元埋め込みをfloat32比で最大15.5倍省メモリ化しつつ、FAISSより最大4.4倍高速に検索でき、学習・再構築不要でオンライン追加削除も可能です。

A vector index built on TurboQuant, written in Rust with Python bindings

pola-rs/polars

Rust製の超高速DataFrameクエリエンジン — PolarsはRustで書かれたDataFrame向け分析クエリエンジンで、マルチスレッド・SIMDによるベクトル化実行で高速動作します。遅延評価やout-of-core処理にも対応し、Pandasの代替としてPython/Node.js/Rなど多言語から利用できる点が特徴です。

Extremely fast Query Engine for DataFrames, written in Rust

flexprice/flexprice

AIネイティブ企業向けの従量課金基盤 — FlexpriceはAI・SaaS企業向けに、従量課金・クレジット制・ハイブリッド課金をリアルタイム計測付きで運用できるオープンソースの課金基盤です。Kafka・ClickHouse・Temporalを組み合わせた構成で、Stripe連携やノーコードUIも備え、Chargebeeなど既存のBilling SaaSに代わるセルフホスト可能な選択肢を提供します。

Usage-based pricing and billing for developers 🔓 Cloud or self-hosted ⚙️ No-code UI 💰 Realtime usage metering 🎟 Credits & top-ups 🔑 Control feature access

snowflakedb/snowflake-connector-python

PythonからSnowflakeへ公式接続 — SnowflakeへPythonから直接接続できる公式コネクタで、Python DB API 2.0に準拠しています。JDBC/ODBCに依存せずpipだけで導入でき、Javaなしでデータ分析・ETL処理を組みたいPythonエンジニアに向いています。なお次世代ドライバはdriversリポジトリで開発中です。

Snowflake Connector for Python

graphene-data/graphene

コーディングエージェント専用のデータ分析フレームワーク — GrapheneはAIコーディングエージェントがデータ分析やダッシュボード作成を行うための、everything-as-code型フレームワークです。SQLにメトリクスやジョインを管理するセマンティックレイヤーを組み合わせることで精度の高いクエリを生成し、専用のダッシュボードファイル形式で一貫した可視化を実現します。従来のBIツールに代わり、エージェントがCLIから一貫して分析業務を担える点が特徴です。

Turn your coding agent into a world-class data analyst

mizuumi/JDocQA

日本語文書QAの評価用データセット — LREC-COLING2024採択論文で提案された、生成系言語モデル向けの日本語文書質問応答データセットです。画像を含む文書を対象としたQAタスクで、生成AIモデルの日本語文書理解力を測れます。llm-jp-eval-mmでの評価コードも公開され、手元のモデル評価に活用できます。

shirok-tech/lakehouse-sound-festival-2026-paf-demo

架空フェスで学ぶOracle Autonomous Lakehouseハンズオン — 音楽フェス運営を架空データで分析するOracle Autonomous AI LakehouseとPrivate Agent Factoryの再現可能なデモです。External Table・Agent向けView・SQL/RAG Toolの構成例に加え、Knowledge GraphやGraph Studioによる可視化手順も収録し、実践的な検証環境として活用できます。

Reproducible Oracle Autonomous AI Lakehouse and Private Agent Factory demo dataset for Lakehouse Sound Festival 2026

grafana/grafana

定番の可視化基盤Grafana、データソース横断で監視を統合 — Prometheus、Loki、Elasticsearch、InfluxDBなど多様なデータソースのメトリクス・ログ・トレースを横断して可視化できるOSS観測プラットフォームです。動的ダッシュボードや複数データソースの混在表示、アラート通知まで一括対応し、監視ツールの事実上の標準として広く使われています。

The open and composable observability and data visualization platform. Visualize metrics, logs, and traces from multiple sources like Prometheus, Loki, Elasticsearch, InfluxDB, Postgres and many more.

surrealdb/surrealdb

SQLもグラフも使えるマルチモデルDB — SurrealDBはドキュメント・グラフ・リレーショナルを一体化したRust製の分散データベースです。SQLライクなクエリでリアルタイムWebやIoT向けに使え、バックエンドやサーバーレスDBとしても利用できる点が特徴です。

A scalable, distributed, collaborative, document-graph database, for the realtime web

redis/go-redis

Redis公式のGo向けクライアントライブラリ — go-redisはRedis公式のGoクライアントで、直近3リリースのRedis（8.0〜8.10）を公式サポートしています。Redis 8.8で追加された新しい配列データ型AR*コマンド群にもいち早く対応するなど、Goエコシステムで事実上標準のRedisクライアントとして広く使われています。

Redis Go client

lionsoul2014/ip2region

オフラインIP位置情報DB、IPv4/IPv6対応で10μs級検索 — ip2regionはオフラインで動作するIPアドレス位置情報ライブラリ兼データ管理フレームワークです。IPv4/IPv6双方に対応し、10マイクロ秒レベルの高速検索を実現。xdb形式で独自の地域データを拡張管理でき、多言語向けの検索クライアントも提供しています。

Ip2region is an offline IP-to-Region localization library and IP data management framework with both IPv4 and IPv6 supports, 10-microsecond level query efficiency, xdb search client for many programming languages

bytebase/bytebase

人間とAIエージェント両方に対応するDB統制基盤 — Bytebaseは、マイグレーションスクリプトやSQLクライアント、チケット管理に分散しがちなDB操作を一元化するオープンソースのデータベース統制プラットフォームです。人間だけでなくAIエージェントからのアクセスも含め、変更管理・権限制御・監査をGUIとGitOpsで統合的に扱える点が特徴です。

Database governance built for humans and agents — controlling changes and access across every major database.

google-deepmind/mujoco_menagerie

DeepMind謹製、高品質MuJoCoロボットモデル集 — MuJoCo物理エンジン向けに、Google DeepMindがキュレーションした高品質なロボットモデル集です。シミュレータは精巧でもモデルの質が悪いと期待通り動かないという課題に対し、すぐに使える検証済みモデルをPythonパッケージとしても提供しています。ロボット工学研究やRL実験の土台として便利です。

A collection of high-quality models for the MuJoCo physics engine, curated by Google DeepMind.