web-scraping

firecrawl/firecrawl

AIエージェントのためのWebデータ抽出API — Webページをスクレイピングし、AIエージェントが扱いやすいクリーンなMarkdownや構造化データに変換できるAPIです。検索・抽出・クロールを一括でカバーし、オープンソース版とホスティング版の両方を利用可能。LLM向けデータ収集を効率化したい開発者に向いています。

Supercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥

browser-use/browser-use

LLMがブラウザを操作するAIエージェント基盤 — LLMを使ってWebブラウザを人間のように操作するAIエージェントを構築できるPythonライブラリです。Playwrightをベースに自然言語の指示だけでブラウジング・自動操作タスクを実行できる点が特徴で、ブラウザ自動化とLLMエージェントを組み合わせたいエンジニアに刺さります。

Open-source Python library for AI browser agents, plus Browser Use Cloud: stealth browsers and a hosted agent API.

D4Vinci/Scrapling

適応型Webスクレイピングフレームワーク — Scraplingは単発リクエストから大規模クロールまで対応するPython製スクレイピングフレームワークです。ステルス機能やPlaywright連携、AIによるセレクタ適応などを備え、サイト構造の変化にも強い点が既存ツールとの差別化ポイントです。MCPサーバー対応でAIエージェントからの利用もしやすくなっています。

🕷️ A Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

dgtlmoon/changedetection.io

Webページの変化を自動検知、AIでノイズを除去する監視ツール — 価格変動や在庫復活、改ざんなどWebサイトの変化を検知し、Discord・Slack・Emailなど多様な通知先へアラートを送るセルフホスト型ツールです。LLMを組み込み「価格が50ドル以下になったら通知」のような自然言語ルールで無関係な変化を自動的に除外し、差分ではなく要約で内容を伝えられる点が特徴です。無料利用も可能でSaaS版もあります。

Best and simplest tool for website change detection, web page monitoring, and website change alerts. Perfect for tracking content changes, price drops, restock alerts, and website defacement monitoring—all for free or enjoy our SaaS plan!

apify/crawlee

信頼性重視のNode.jsクローラー構築ライブラリ — Puppeteer・Playwright・Cheerio・生HTTPを統一APIで扱え、プロキシローテーションやヘッドレス/ヘッドフル切替も標準対応したスクレイピングライブラリです。ボット対策を回避しつつ、AIやRAG向けのデータ抽出にも使える実務志向の設計が特徴です。

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

browserbase/stagehand

AIエージェント向けブラウザ操作SDK「Stagehand」 — Playwrightがテスト用に作られたのに対し、Stagehandはエージェントによるブラウザ操作・データ抽出を目的に設計されたSDKです。TypeScript/Python/Goに対応し、Claude CodeやCodexなどのAIツールと組み合わせて、任意のWebサイトから構造化データを取得できます。ログインセッションを保持できる点も実用的です。

The SDK to extract data and interact with any site on the web. Get started with Claude Code, Codex, Eve, Mastra, and more.

lexmount/moli

RustでできたAIエージェント向け軽量ヘッドレスブラウザ — MoliはAIエージェント向けに設計された本番運用可能なヘッドレスブラウザです。必要な時だけレイアウト・描画を行う設計で軽量かつ高速、Servoベースのブラウザランタイムを備えます。CLI・CDP・WebDriver Classic/BiDiに対応し、PlaywrightやPuppeteerの代替としてWebスクレイピングやブラウザ自動化に使えます。

Best headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust

nanobrowser/nanobrowser

OpenAI Operator代替の無料ブラウザ自動化拡張 — ChromeブラウザだけでAIエージェントによるWeb自動化を実現するOSS拡張機能です。独自LLM APIキーを使って複数エージェント（Planner/Navigatorなど）が連携動作し、月額$200のOpenAI Operatorを無料で代替できます。全処理がローカル完結でプライバシーも安心です。

Open-source AI agent for web automation. Use your real, logged-in browser to automate daily tasks.

jo-inc/camofox-browser

AIエージェント向けの検知回避ヘッドレスブラウザ — Camoufox（C++レベルで指紋偽装するFirefoxフォーク）を活用し、Cloudflareやボット検知を回避できるヘッドレスブラウザサーバーです。PuppeteerやPlaywrightをそのまま置き換えられ、既存のステルスプラグインが検出パターンになってしまう問題を解消。AIエージェント開発者に刺さるツールです。

Stealth headless browser for AI agents — bypass Cloudflare, bot detection, and anti-scraping. Drop-in Puppeteer/Playwright replacement.

gosom/google-maps-scraper

Googleマップから営業リード情報を自動収集するOSSスクレイパー — 店舗名・住所・電話番号・メール・評価・座標などをGoogleマップから抽出するGo製OSSツールです。CLI・Web UI・REST APIに加え、Claude CodeやCodexなどAIエージェント向けSkillsにも対応し、自然言語で検索条件を伝えるだけでリード収集を自動化できます。分散スクレイピングにも対応し、営業リスト作成や市場調査に活用できます。

scrape data from Google Maps. Extracts data such as the name, address, phone number, website URL, rating, reviews number, latitude and longitude, reviews,email and more for each place

KnockOutEZ/wigolo

APIキー不要、AIエージェント用ローカル検索基盤 — wigoloはClaude CodeやCursorなどのAIコーディングエージェントに、検索・取得・クロール・調査機能をMCP経由で提供するローカルファーストのツールです。APIキーやクラウド利用が不要で従量課金もゼロ。RAGや自律的な情報収集ループを、開発環境から離れずに実現できる点が既存の検索API連携と異なる強みです。

The go-to web for your AI coding agent — local-first search, fetch, crawl & research over MCP. No API keys, no cloud, $0/query. Public beta.

RayenMlayeh/jevcrawl

答えに直行するAIエージェント向けクローラー — jevcrawlはAIエージェント向けのWebクローラーで、小さな判定モデルがリンクや文章を選別し、質問に答える部分だけをLLMに渡します。Crawl4AIの2倍の確率で正解ページを発見し、Claude自身にクロールさせるより10倍安く済む点が特徴です。

MCP server and CLI that crawls websites for AI agents: finds the answer page 2x more often than Crawl4AI, 10x cheaper per answer than letting Claude crawl.