データ・DB
91件のリポジトリ（注目度順） — 3ページ目
pingcap/tidbAIエージェント時代に備える分散SQL DB「TiDB」 — TiDBはMySQL互換の分散SQLデータベースで、トランザクション処理・分析(HTAP)・ベクトル検索を1つの基盤で統合しています。急激に増減するAIエージェントのワークロードにも対応し、ACID保証を保ちながらデータサイロやリソース競合を排除できる点が特徴です。既存のRDBやNewSQLとは異なり、スケールの天井を意識せず運用できます。
TiDB is built for agentic workloads that grow unpredictably, with ACID guarantees and native support for transactions, analytics, and vector search. No data silos. No noisy neighbors. No infrastructure ceiling.
getlago/lagoAI時代の従量課金を支えるOSS課金基盤 — LagoはトークンやAPI呼び出しなど任意の利用量を計測し、価格設定・請求・支払い・収益分析まで一気通貫で扱えるオープンソースの課金インフラです。自社製品向けの直接利用（Lago Direct）と、顧客向けに課金機能を組み込めるLago Embeddedの両方に対応し、Stripe課金などSaaS型サービスに依存せず自前で運用できる点が特徴です。Mistral AIやPayPalなど実績のあるAIプロダクト向け料金設計にも強みがあります。
Open Source Metering and Usage Based Billing API ⭐️ Consumption tracking, Subscription management, Pricing iterations, Payment orchestration & Revenue analytics
lionsoul2014/ip2regionオフラインIP位置情報DB、IPv4/IPv6対応で10μs級検索 — ip2regionはオフラインで動作するIPアドレス位置情報ライブラリ兼データ管理フレームワークです。IPv4/IPv6双方に対応し、10マイクロ秒レベルの高速検索を実現。xdb形式で独自の地域データを拡張管理でき、多言語向けの検索クライアントも提供しています。
Ip2region is an offline IP-to-Region localization library and IP data management framework with both IPv4 and IPv6 supports, 10-microsecond level query efficiency, xdb search client for many programming languages
surrealdb/surrealdbSQLもグラフも使えるマルチモデルDB — SurrealDBはドキュメント・グラフ・リレーショナルを一体化したRust製の分散データベースです。SQLライクなクエリでリアルタイムWebやIoT向けに使え、バックエンドやサーバーレスDBとしても利用できる点が特徴です。
A scalable, distributed, collaborative, document-graph database, for the realtime web
etcd-io/etcdKubernetesを支える分散KVストア — RaftアルゴリズムによりKubernetesのバックエンドとして採用されている、分散システムの重要データを堅牢に管理するキーバリューストアです。gRPCベースのシンプルなAPI、TLSによるセキュアな通信、高スループットを兼ね備え、CNCFプロジェクトとして厳格な堅牢性テストを継続しています。
Distributed reliable key-value store for the most critical data of a distributed system
bytebase/bytebase人間とAIエージェント両方に対応するDB統制基盤 — Bytebaseは、マイグレーションスクリプトやSQLクライアント、チケット管理に分散しがちなDB操作を一元化するオープンソースのデータベース統制プラットフォームです。人間だけでなくAIエージェントからのアクセスも含め、変更管理・権限制御・監査をGUIとGitOpsで統合的に扱える点が特徴です。
Database governance built for humans and agents — controlling changes and access across every major database.
dolthub/doltMySQL互換のバージョン管理DB「Dolt」 — DoltはGitのようにfork・clone・branch・merge・push・pullできるSQLデータベースです。MySQL互換で接続でき、CLIもGitと同じ操作感。テーブル単位でデータ変更を履歴管理でき、マルチエージェントのメモリ基盤としても活用が広がっています。
Dolt – Git for Data
grafana/grafana定番の可視化基盤Grafana、データソース横断で監視を統合 — Prometheus、Loki、Elasticsearch、InfluxDBなど多様なデータソースのメトリクス・ログ・トレースを横断して可視化できるOSS観測プラットフォームです。動的ダッシュボードや複数データソースの混在表示、アラート通知まで一括対応し、監視ツールの事実上の標準として広く使われています。
The open and composable observability and data visualization platform. Visualize metrics, logs, and traces from multiple sources like Prometheus, Loki, Elasticsearch, InfluxDB, Postgres and many more.
snowflakedb/snowflake-connector-pythonPythonからSnowflakeへ公式接続 — SnowflakeへPythonから直接接続できる公式コネクタで、Python DB API 2.0に準拠しています。JDBC/ODBCに依存せずpipだけで導入でき、Javaなしでデータ分析・ETL処理を組みたいPythonエンジニアに向いています。なお次世代ドライバはdriversリポジトリで開発中です。
Snowflake Connector for Python
hydra-db/hydradbS3をそのまま真実の源にするグラフDB — HydraDBはRust製の分散グラフDBで、S3互換オブジェクトストレージを唯一の永続化先としつつ、データノードとインデクサーをストレージから分離して独立にスケールさせる設計が特徴です。OpenCypherやGraphBLASトラバーサル、Neo4j互換Boltにも対応し、Neo4jライクな体験をクラウドネイティブな構成で実現したい人に刺さります。
HydraDB - fast graph database on object storage
FalkorDB/FalkorDBGraphBLASで爆速なLLM向けグラフDB — 疎行列演算ライブラリGraphBLASを基盤に使うことで高速なグラフ探索を実現するマルチテナント対応グラフデータベースです。LLMのナレッジグラフ（GraphRAG）やエージェントのメモリ、不正検知、クラウドセキュリティ用途に最適化されており、低レイテンシを重視した設計が特徴です。既存のグラフDBと比べて計算処理の効率に強みがあります。
A super fast Graph Database uses GraphBLAS under the hood for its sparse adjacency matrix graph representation. Our goal is to provide the best Knowledge Graph for LLM (GraphRAG).
flexprice/flexpriceAIネイティブ企業向けの従量課金基盤 — FlexpriceはAI・SaaS企業向けに、従量課金・クレジット制・ハイブリッド課金をリアルタイム計測付きで運用できるオープンソースの課金基盤です。Kafka・ClickHouse・Temporalを組み合わせた構成で、Stripe連携やノーコードUIも備え、Chargebeeなど既存のBilling SaaSに代わるセルフホスト可能な選択肢を提供します。
Usage-based pricing and billing for developers 🔓 Cloud or self-hosted ⚙️ No-code UI 💰 Realtime usage metering 🎟 Credits & top-ups 🔑 Control feature access
GoogleCloudPlatform/cloud-spanner-emulatorCloud Spannerをローカルで動かすGoogle公式エミュレータ — Google Cloud Spannerをローカル環境で再現できるオープンソースのエミュレータです。本番サービスと同じ振る舞いを重視して作られており、単体テストや開発時にクラウド接続不要でSpanner対応アプリを検証できます。gcloudコマンドやDockerイメージから簡単に起動できる点も実用的です。
An open source emulator for Cloud Spanner.
graphene-data/grapheneコーディングエージェント専用のデータ分析フレームワーク — GrapheneはAIコーディングエージェントがデータ分析やダッシュボード作成を行うための、everything-as-code型フレームワークです。SQLにメトリクスやジョインを管理するセマンティックレイヤーを組み合わせることで精度の高いクエリを生成し、専用のダッシュボードファイル形式で一貫した可視化を実現します。従来のBIツールに代わり、エージェントがCLIから一貫して分析業務を担える点が特徴です。
Turn your coding agent into a world-class data analyst
ClickHouse/clickhouse-cClickHouse用の軽量ヘッダオンリーCクライアント — ClickHouseのNativeプロトコル/フォーマットをデコードするヘッダオンリーのCライブラリです。PostgreSQL拡張への組み込みを想定しつつPG依存コードはなく、TCPや圧縮なしでclickhouse-localの出力をパイプ経由で読むだけの最小構成も可能です。libc以外のリンク依存がなく、組み込み用途に最適です。
minimalist header-only library for embedded contexts
devaccuracy/ledgerforgeAIエージェント時代の複式簿記台帳基盤 — ウォレットや支払、マーケットプレイス、請求に使える複式簿記台帳です。整数演算で金額誤差を排除し、検証可能な監査証跡とサーバー側の支出上限・承認フローでAIエージェントの暴走を防ぎます。MCPサーバーも備え、Apache 2.0で公開されています。
The ledger for AI-native money movement. An open-source double-entry ledger for wallets, payouts, marketplaces and billing, with exact integer money, a verifiable audit chain, server-enforced spending limits and approvals for AI agents, and an MCP server. Apache 2.0.
ebichan88/dbxrayDB定義書とER図をMarkdown自動生成するツール — DBに接続してテーブル一覧・定義書・ER図をMarkdown形式で出力するツールです。Mermaid記法のER図はGitHub上でそのまま表示でき、MCPサーバー経由でAIにテーブル定義を問い合わせることも可能。ドキュメント整備とAI連携を両立できる点が特徴です。
dbxrayは、DBに接続し、テーブル一覧・各テーブルの定義書・ER図などをMarkdown形式で出力するツールです。また、出力したデータをMCPサーバー経由でAIに回答することもできます。
umami-software/umamiクッキー不要、収益や行動まで追えるプライバシー重視の解析基盤 — Umamiはトラフィック・キャンペーン・行動・コンバージョン・収益を一元管理できる、プライバシー重視のWeb解析ツールです。クッキーや監視を使わず、Node.jsとPostgreSQLでセルフホストするかクラウド版を利用できます。Google Analyticsの代替を探すチームに向いています。
Umami is a privacy-first web and product analytics platform. Traffic, campaigns, behavior, conversions, and revenue in one place. No cookies, no surveillance, self-hosted or in the cloud.
VictoriaMetrics/VictoriaMetricsPromQL互換で高速・低コストな時系列データベース — VictoriaMetricsは監視向けの高速・低コストな時系列データベースで、PromQLやInfluxDB、Graphite、OpenTelemetry形式のデータに対応しています。シングルノードとクラスタ構成の両方を提供し、Grammarly、Roblox、Wix、Spotifyなど実運用実績があり、PrometheusやThanosの代替として観測基盤を拡張したいチームに向いています。
VictoriaMetrics: fast, cost-effective monitoring solution and time series database
dotnet/efcore.NET向けORM、EF Coreの最新動向をチェック — EF CoreはMicrosoftが開発する.NET向けのオブジェクト・データベースマッパーです。LINQクエリ、変更追跡、更新、スキーマ移行に対応し、SQL ServerやSQLite、Cosmos DB、PostgreSQLなど多様なDBをプロバイダー経由でサポートします。最新機能を試せるデイリービルドも提供されています。
EF Core is a modern object-database mapper for .NET. It supports LINQ queries, change tracking, updates, and schema migrations.
benbjohnson/litestreamSQLiteを安全に継続バックアップするLitestream — LitestreamはバックグラウンドでSQLiteの変更を別ファイルやS3へ逐次レプリケーションするディザスタリカバリツールです。SQLite API経由のみで通信するため破損のリスクがなく、本番運用でSQLiteを使う人に向いています。
Streaming replication for SQLite.
ClickHouse/ClickBench実データで検証する分析DBの再現可能ベンチマーク — ClickBenchは実際のWebアナリティクスデータを匿名化して用い、ClickHouseやDuckDB、BigQuery、Snowflake、Dorisなど多数のOLAP/OLTP/サーバーレスDBを比較するベンチマークです。約20分でシェルスクリプトにより再現可能な点が特徴で、DB選定の参考になります。
ClickBench: a Benchmark For Analytical Databases
dbt-labs/jaffle-shop-classicdbtの定番デモプロジェクト（旧版） — 架空のECストア「jaffle_shop」を題材に、生データを顧客・注文モデルへ変換するdbtの自己完結型サンプルプロジェクトです。dbtの基本概念を学んだり、ツールの動作検証をするのに便利ですが、現在は後継のjaffle-shopとjaffle_shop_duckdbに引き継がれメンテナンス終了済みです。
A self-contained dbt project for testing purposes
datafusion-contrib/StreamFusionDataFusionでFlink SQLをネイティブ高速化するアクセラレータ — StreamFusionは、Flink SQLの対応オペレータをRust/Arrow/DataFusionによるネイティブ実行に置き換え、未対応部分は結果が同一のままFlinkにフォールバックします。ウィンドウ集計、結合、変更ログ処理、Parquet/ORC/Delta Lakeシンクまで幅広く対応し、クエリ書き換えなしでFlinkを高速化したいチームに向いています。
World's First OSS Flink Accelerator built on Apache DataFusion
algotitanhq/uberblokZFSの内部構造を部屋ごとに解説するWebミュージアム — UberblokはOpenZFSの仕組みを14部屋に分けて解説するWeb上の「博物館」です。uberblock、COW、RAID-Z、ARC、ZILなどをアニメーションと実際のソースコード注釈で可視化し、Sun時代からの出典付き歴史年表も収録しています。ZFS内部を視覚的に学びたい人に向いています。
Uberblok: an interactive museum of ZFS internals
BIMvoice/ifcsheet既存IFCモデルから図面一式をブラウザで作成するツール — IfcSheetは手持ちのIFCモデルを開き、平面図・断面図・立面図・シートの作成に特化したツールです。寸法・タグ・ハッチングを付けてA0〜A4のシートにレイアウトし、PDF/SVG/DXFへ出力できます。タグはGlobalIdで要素を追跡するため、名前変更にも自動追従します。Bonsaiでの図面作成の手間に悩んだ実務者が作った、建築・BIM担当者向けのオープンソースツールです。
Draw, dimension and sheet IFC models in the browser. Plans, sections, annotations, PDF and DXF. Open source, MPL-2.0.
Sequoiabm/ULTOR衛星・船舶・地震データを3D地球儀に統合するOSSダッシュボード — ULTORはCesiumJSベースのElectronデスクトップアプリで、衛星・航空機・船舶・地震・交通などのリアルタイムデータをフォトリアルな3D地球儀上に統合表示します。CRTやナイトビジョン、FLIR表示モードも搭載。単なる製品ではなく拡張可能なプラットフォームとして設計されており、独自のデータソースをレイヤーとして追加できます。
Open-source geospatial intelligence dashboard. Real-time satellites, flights, military, seismic, cameras, and traffic on a 3D globe. CRT, night vision, and FLIR modes.
ashtonckj/Purrrfessorrr-Slothhh5匹の猫が代行するピクセル風データ分析ツール — CSV/TSV/XLSXをアップロードすると、怠け者のナマケモノ教授が5匹の専門猫に分析を任せる、ハッカソン発のデータ分析アプリです。欠損値・外れ値チェック、グラフ、平易な要約、再利用可能なPython/Rコードを生成します。統計は決定的なPython処理で算出され、Gemmaモデルは要約の説明のみを担当し数値は作りません。
A playful, pixel-inspired data analysis app that makes exploring, cleaning, and visualising datasets simple, interactive, and fun! 🐈✨
RommelPa/data-science-portfolioノートブックで終わらないデータサイエンスの全工程ポートフォリオ — EDA・回帰・分類・時系列予測・NLPなど個別プロジェクトを、ビジネス課題から前処理・モデリング・ダッシュボード・API提供・デプロイまで一貫したワークフローとして束ねたポートフォリオです。各プロジェクトはDockerやCI、Streamlitデプロイも含み、データ分析を実際のプロダクトに繋げる流れの参考になります。
Portfolio of reproducible data science projects covering EDA, regression, classification, forecasting, NLP, executive dashboards, ML APIs, and Docker.
mann-lean/customerSegmentationRFM分析でEC顧客を自動セグメント化するMLパイプライン — Recency・Frequency・Monetaryの指標からK-Meansやランダムフォレストで顧客を自動分類し、段階的なマーケティング施策に落とし込むエンドツーエンドのMLパイプラインです。Streamlit製のライブダッシュボードと12月向け施策プレイブックを備え、月間売上10.01％増を見込む実践的な提案まで行います。
End-to-end ML segmentation engine using RFM modeling, Python, and Power BI to drive a projected 10.01% revenue uplift via targeted business strategies.