データ・DB

tursodatabase/turso

Rust製SQLite互換DB、Postgresも話せる「DBのLLVM」 — RustでSQLiteと互換のインプロセスSQLデータベースを再実装し、実験的にPostgresプロトコルにも対応したプロジェクトです。WebAssembly対応や複数言語向けバインディング（JS/Python/Java）も備え、SQLiteの後継となる汎用DBエンジンを目指しています。既存のSQLiteやlibSQLとの差別化点として注目されています。

A SQL database in Rust: SQLite-compatible, now also speaking Postgres (experimental). The LLVM of databases.

rogerbinns/apsw

SQLiteをフル活用するPythonラッパー APSW — SQLiteのC APIとPythonのC APIを完全に橋渡しするラッパーです。標準のsqlite3モジュールと違い、全文検索や仮想テーブル、VFS、セッション機能などSQLiteの全機能を使え、同期・非同期どちらのコードでも利用できます。開発体験の良さを重視する人向けです。

Another Python SQLite wrapper

cockroachdb/cockroach

耐障害性を備えた分散SQLデータベース — CockroachDBはKVストア上に構築された分散SQLデータベースで、ディスクやマシン、データセンター障害にも自動復旧しつつ強整合なACIDトランザクションとSQLを提供します。マニュアル操作なしで水平スケールできる点が特徴で、クラウドネイティブな大規模アプリ向けにMySQLやPostgreSQL互換の運用性を求める開発者に向いています。

CockroachDB — the cloud native, distributed SQL database designed for high availability, effortless scale, and control over data placement.

IAmTomShaw/f1-race-replay

F1レースをリプレイ再現するPython製ビジュアライザ — 実際のF1テレメトリーデータを用いてレース展開をグラフィカルに再現できるPythonツールです。セーフティカーの出入りやドライバーのタイヤ・速度・DRS状況まで可視化でき、一時停止や巻き戻しなど操作性も充実しています。レース分析やデータ可視化に興味がある人に刺さる内容です。

An interactive Formula 1 race visualisation and data analysis tool built with Python! 🏎️

waditu/czsc

「缠中说禅」理論をRustで高速実装した量化取引ツール — 中国株式市場で人気の「缠中说禅」技術分析理論（分型・筆・中枢など）をコア実装した量化取引ライブラリです。1.0からアルゴリズムをRustで書き直しPyO3経由でPythonに公開、速度と拡張性を両立しています。220以上の信号関数を備え、Tushareデータ連携や戦略研究にも対応する中国語圏で広く使われるツールです。

缠中说禅技术分析工具；缠论；股票；期货；Quant；量化交易

pola-rs/polars

Rust製の超高速DataFrameクエリエンジン — PolarsはRustで書かれたDataFrame向け分析クエリエンジンで、マルチスレッド・SIMDによるベクトル化実行で高速動作します。遅延評価やout-of-core処理にも対応し、Pandasの代替としてPython/Node.js/Rなど多言語から利用できる点が特徴です。

Extremely fast Query Engine for DataFrames, written in Rust

PostHog/posthog

「自動運転する」プロダクトを作るOSS統合分析基盤 — PostHogは、プロダクト分析・セッションリプレイ・A/Bテスト・機能フラグ・エラートラッキングなどを一つに統合したOSSプラットフォームです。AIエージェントが問題を診断し改善を提案できるよう文脈情報を収集する点が特徴で、Slackやデスクトップ、MCP経由でも操作できます。GoogleアナリティクスやMixpanel、Amplitudeなど複数ツールを一本化したいチームに向いています。

:hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, experiments, error tracking, logs, and more – capture all the context agents need to diagnose problems, uncover opportunities, and ship fixes. Steer it all from Slack, web, desktop, or the MCP.

seaweedfs/seaweedfs

1バイナリでS3・POSIX・データレイクを兼ねる分散ストレージ — SeaweedFSは数十億のファイルをO(1)のディスクアクセスで扱える分散ストレージシステムです。1つのweedバイナリでS3互換オブジェクトストア、POSIXファイルシステム、Icebergテーブル対応のレイクハウスを同一データ上で提供でき、ボリュームサーバー追加だけで容易に水平スケールできる点が特徴です。HDFSやMinIOの代替として、大規模ファイル管理を簡素化したい開発者に向いています。

SeaweedFS is a distributed storage system for object storage (S3), file systems, and Iceberg tables, designed to handle billions of files with O(1) disk access and effortless horizontal scaling.

qdrant/qdrant

Rust製の高速ベクトル検索エンジンQdrant — Rustでフルスクラッチ実装された高性能ベクトルデータベースで、HNSWによる近似最近傍探索と高度なフィルタリングを両立します。埋め込みベースの類似検索やレコメンド、RAGなどAI応用に強く、セルフホストとクラウド版の両方で利用できる点が実用性の高さを支えています。

Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/

dgtlmoon/changedetection.io

Webページの変化を自動検知、AIでノイズを除去する監視ツール — 価格変動や在庫復活、改ざんなどWebサイトの変化を検知し、Discord・Slack・Emailなど多様な通知先へアラートを送るセルフホスト型ツールです。LLMを組み込み「価格が50ドル以下になったら通知」のような自然言語ルールで無関係な変化を自動的に除外し、差分ではなく要約で内容を伝えられる点が特徴です。無料利用も可能でSaaS版もあります。

Best and simplest tool for website change detection, web page monitoring, and website change alerts. Perfect for tracking content changes, price drops, restock alerts, and website defacement monitoring—all for free or enjoy our SaaS plan!

bbfamily/abu

株・仮想通貨も扱えるPython量化取引基盤 — 株式・オプション・先物・ビットコインまで対応するPythonベースのオープンソース量化取引システムです。機械学習を組み込んだ戦略構築やバックテストが可能で、書籍『量化交易之路』の実例コードやノンプログラミングUIも提供され、個人投資家から研究者まで幅広く使えます。

阿布量化交易系统(股票，期权，期货，比特币，机器学习) 基于python的开源量化交易，量化投资架构

apache/seatunnel

160超のコネクタを持つ統合データ統合基盤 — Apache SeaTunnelは構造化/非構造化データに加え動画・画像・埋め込みまで扱えるマルチモーダルなデータ統合ツールです。160以上のコネクタとバッチ/ストリーム統合、CDC対応、Zeta/Flink/Sparkのマルチエンジン実行により、大規模データ同期を高スループット・低レイテンシで実現します。

SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.

ScrapeGraphAI/Scrapegraph-ai

セレクタ不要、LLMが解釈して抽出するスクレイピングライブラリ — ScrapeGraphAIは、LLMとグラフロジックを使ってWebスクレイピングのパイプラインを構築するPythonライブラリです。欲しい情報を説明するだけで、サイトやXML/HTML/JSON/Markdownなどのローカル文書からデータを自動抽出できます。壊れやすいセレクタ管理から解放されたい開発者に向いています。

Python scraper based on AI

apache/datafusion

Rust製の高速SQL/DataFrameクエリエンジン — Apache DataFusionはRustで実装されたOLAP向けクエリエンジンで、SQLとDataFrame APIを備え、Apache Arrowを基盤に高速なベクトル化実行を行います。独自のデータ処理エンジンやPythonバインディングを作りたい開発者に向けたビルディングブロックとして利用でき、Spark等の代替として組み込みやすい点が特徴です。

Apache DataFusion SQL Query Engine

cocoindex-io/cocoindex

変更分だけ同期、AIエージェント向け増分インデックスエンジン — CocoIndexはRust製コアとPythonインターフェースを持ち、コードベースやSlack、議事録などの変更差分のみを継続的に同期してベクトルストアやナレッジグラフへ反映するエンジンです。長時間稼働するAIエージェントやRAGパイプラインに、常に最新のコンテキストを低コストで提供したいチーム向けです。

Incremental engine for long horizon agents 🌟 Star if you like it!

withmarbleapp/os-taxonomy

初等教育の学びを構造化したオープンなスキル分類体系 — Marbleが公開した小中学校レベルの学習内容を1,590の「マイクロトピック」に分解し、3,221本の前提関係でつないだ有向グラフ形式のカリキュラムデータです。NGSSや共通コア等の標準に対応付けられており、単なる平坦な標準リストではなく学習の依存関係を可視化・利用できる点が特徴です。教育系アプリや学習パス設計をする開発者に有用です。

google-deepmind/mujoco_menagerie

DeepMind謹製、高品質MuJoCoロボットモデル集 — MuJoCo物理エンジン向けに、Google DeepMindがキュレーションした高品質なロボットモデル集です。シミュレータは精巧でもモデルの質が悪いと期待通り動かないという課題に対し、すぐに使える検証済みモデルをPythonパッケージとしても提供しています。ロボット工学研究やRL実験の土台として便利です。

A collection of high-quality models for the MuJoCo physics engine, curated by Google DeepMind.

HelixDB/helix-db

グラフ×ベクトルを一体化したRust製AI向けDB — HelixDBはRustでフルスクラッチ開発されたOLTPグラフDBで、ベクトル検索や全文検索も標準搭載しています。RAGやAIエージェントのメモリ管理に必要なDB群（アプリDB・リレーショナル・ベクトル・グラフ）を1プラットフォームに統合できる点が特徴で、CLIから簡単に構築・運用できます。

HelixDB is an OLTP graph database with native vector and full-text search built in Rust on Object Storage.

RyanCodrai/turbovec

TurboQuant量子化で省メモリ高速なベクトル検索 — GoogleのTurboQuant量子化を使い、ベクトルを2〜4bit/次元で圧縮したまま直接検索するRust製ベクトルインデックスで、Pythonバインディングも提供します。1000万件の768次元埋め込みをfloat32比で最大15.5倍省メモリ化しつつ、FAISSより最大4.4倍高速に検索でき、学習・再構築不要でオンライン追加削除も可能です。

A vector index built on TurboQuant, written in Rust with Python bindings

elastic/elasticsearch

分散型RESTful検索エンジンの定番 — Elasticsearchは大規模データを高速に検索・分析できる分散型のオープンソース検索エンジンです。JSONベースのRESTful APIで扱いやすく、ログ解析やフルテキスト検索、Kibanaと組み合わせた可視化基盤としてElastic Stackの中核を担っています。

Free and Open Source, Distributed, RESTful Search Engine

milvus-io/milvus

大規模RAG時代を支えるベクトルDB Milvus — Milvusは大量の埋め込みデータを高速に検索できるクラウドネイティブなベクトルDBです。HNSWやDiskANNなど複数のANNアルゴリズムを実装し、分散構成で数十億規模のベクトルにも対応。画像検索やLLM/RAGアプリの基盤として、FaissやElasticsearchに代わる選択肢になります。

Milvus is a high-performance, cloud-native vector database built for scalable vector ANN search

calesthio/Crucix

27種のOSINTを束ねる自分専用インテリジェンス端末 — 衛星火災検知や航空機追跡、放射線モニタリング、経済指標や市場価格、地政学リスクまで27のオープンソース情報源を15分ごとに並列収集し、Jarvis風ダッシュボードに可視化します。LLMと連携すれば異変時にTelegramやDiscordへ多段階アラートを送信し、/briefなどのコマンドで現場から状況確認できる、クラウド不要で自分だけの分析官のようなツールです。

Your personal intelligence agent. Watches the world from multiple data sources and pings you when something changes.

drawdb-io/drawdb

ブラウザで完結するER図エディタ＆SQL生成ツール — drawDBはアカウント登録不要でブラウザ上にDB設計図（ERD）を作成できるツールです。SQLのインポート/エクスポートやマイグレーション生成にも対応し、PostgreSQL・MySQL・Oracleなど主要DBをサポート。MCP対応もあり、直感的なUIで手軽にスキーマ設計できる点が魅力です。

Free, simple, and intuitive online database diagram editor and SQL generator.

mizuumi/JDocQA

日本語文書QAの評価用データセット — LREC-COLING2024採択論文で提案された、生成系言語モデル向けの日本語文書質問応答データセットです。画像を含む文書を対象としたQAタスクで、生成AIモデルの日本語文書理解力を測れます。llm-jp-eval-mmでの評価コードも公開され、手元のモデル評価に活用できます。

karmanyaahm/budget-tools

Bucketsアプリ用の個人家計分析ツール群 — budgeting app「Buckets」のSQLiteデータベースを解析するPython製ツール集です。円グラフで予算配分・実収入・支出をインタラクティブに可視化できるほか、Venmoの取引データ統合や使用時間の金額換算も可能。データはローカルで処理され外部に漏れないため、プライバシーを重視する個人の家計管理に向いています。

shirok-tech/lakehouse-sound-festival-2026-paf-demo

架空フェスで学ぶOracle Autonomous Lakehouseハンズオン — 音楽フェス運営を架空データで分析するOracle Autonomous AI LakehouseとPrivate Agent Factoryの再現可能なデモです。External Table・Agent向けView・SQL/RAG Toolの構成例に加え、Knowledge GraphやGraph Studioによる可視化手順も収録し、実践的な検証環境として活用できます。

Reproducible Oracle Autonomous AI Lakehouse and Private Agent Factory demo dataset for Lakehouse Sound Festival 2026

timescale/pg_vectorsearch

PostgreSQL向け超高速ベクトル検索拡張PRISM — TimescaleによるPostgreSQL拡張で、1億件以上のベクトルを高速に近似最近傍探索できます。RaBitQ量子化とSIMD最適化によりpgvectorのIVFFlat/HNSWより高速かつ省メモリで、既存のpgvectorテーブルにもそのままインデックスを張れます。

High-performance vector search for PostgreSQL

chinese-poetry/chinese-poetry

唐詩・宋詞を網羅する最大級の古典詩データベース — 唐宋約1.4万人の詩人による唐詩5.5万首・宋詩26万首、宋代1500人超の詞人による宋詞2.1万首をJSON形式で提供するオープンデータベースです。電子化によりコピー・加工が容易になり、言語処理や文化研究、アプリ開発など幅広い用途に活用できます。

The most comprehensive database of Chinese poetry 🧶最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。

duckdb/ducklake

DuckDB発、新時代のデータレイク形式 — DuckLakeはDuckDBチームが開発する統合データレイク＆カタログフォーマットです。IcebergやDelta Lakeと異なり、メタデータ管理にSQLデータベース（Postgresなど）を利用するシンプルな設計が特徴で、複雑な分散カタログを避けつつ高速なレイクハウス基盤を構築したいエンジニアに向いています。

DuckLake is an integrated data lake and catalog format

redis/go-redis

Redis公式のGo向けクライアントライブラリ — go-redisはRedis公式のGoクライアントで、直近3リリースのRedis（8.0〜8.10）を公式サポートしています。Redis 8.8で追加された新しい配列データ型AR*コマンド群にもいち早く対応するなど、Goエコシステムで事実上標準のRedisクライアントとして広く使われています。

Redis Go client