crawler

firecrawl/firecrawl

AIエージェントのためのWebデータ抽出API — Webページをスクレイピングし、AIエージェントが扱いやすいクリーンなMarkdownや構造化データに変換できるAPIです。検索・抽出・クロールを一括でカバーし、オープンソース版とホスティング版の両方を利用可能。LLM向けデータ収集を効率化したい開発者に向いています。

Supercharge your AI agents with data from the web and beyond. Building the library for superintelligence. 🔥

D4Vinci/Scrapling

適応型Webスクレイピングフレームワーク — Scraplingは単発リクエストから大規模クロールまで対応するPython製スクレイピングフレームワークです。ステルス機能やPlaywright連携、AIによるセレクタ適応などを備え、サイト構造の変化にも強い点が既存ツールとの差別化ポイントです。MCPサーバー対応でAIエージェントからの利用もしやすくなっています。

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

ScrapeGraphAI/Scrapegraph-ai

セレクタ不要、LLMが解釈して抽出するスクレイピングライブラリ — ScrapeGraphAIは、LLMとグラフロジックを使ってWebスクレイピングのパイプラインを構築するPythonライブラリです。欲しい情報を説明するだけで、サイトやXML/HTML/JSON/Markdownなどのローカル文書からデータを自動抽出できます。壊れやすいセレクタ管理から解放されたい開発者に向いています。

Python scraper based on AI

feder-cr/invisible_playwright_mcp

アンチボットに気づかれないPlaywright製MCPブラウザエージェント — 通常のAIブラウザエージェントはCAPTCHAに阻まれますが、本ツールはステルスFirefoxを使い検知回避しながらWeb操作を行うPlaywright MCPサーバーです。Claude CodeやGemini CLIから利用でき、求人探しやリード獲得、市場調査などの自動ブラウジングに活用できます。

Playwright MCP server undetected by anti-bots and captchas: AI agent browses the web on anti-detect stealth Firefox, Python, undetected browser automation, scraping, computer use.

apify/crawlee

信頼性重視のNode.jsクローラー構築ライブラリ — Puppeteer・Playwright・Cheerio・生HTTPを統一APIで扱え、プロキシローテーションやヘッドレス/ヘッドフル切替も標準対応したスクレイピングライブラリです。ボット対策を回避しつつ、AIやRAG向けのデータ抽出にも使える実務志向の設計が特徴です。

Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.

projectdiscovery/katana

次世代Webクローラーkatana、ヘッドレス対応で高速探索 — ProjectDiscoveryが開発するGo製クローラーです。標準モードに加えヘッドレスブラウザでのJS実行やクロールに対応し、自動フォーム入力やスコープ制御、機械学習によるページ分類も備えます。セキュリティ調査やペネトレーションテストで既存クローラーより高精度な情報収集を目指せます。

A next-generation crawling and spidering framework.

s0md3v/Photon

Incredibly fast crawler designed for OSINT.

Tuhinshubhra/RED_HAWK

All in one tool for Information Gathering, Vulnerability Scanning and Crawling. A must have tool for all penetration testers

Autumn-27/ScopeSentry

分散ノード対応のバグバウンティ統合偵察ツール — 資産マッピング、サブドメイン列挙、情報漏洩検知、脆弱性スキャン、ディレクトリスキャン、サブドメインテイクオーバー検知、クローラ、ページ監視を一つに統合したツールです。複数ノードを構築し任意のノードでスキャンタスクを実行できるため、新しい脆弱性が出た際に対象資産の関連コンポーネントを迅速に確認できます。プラグイン市場やテンプレートも備え拡張性に優れます。

ScopeSentry-Cyberspace mapping, subdomain enumeration, port scanning, sensitive information discovery, vulnerability scanning, distributed nodes

iudicium/pryingdeep

Prying Deep - An OSINT tool to collect intelligence on the dark web.

RayenMlayeh/jevcrawl

答えに直行するAIエージェント向けクローラー — jevcrawlはAIエージェント向けのWebクローラーで、小さな判定モデルがリンクや文章を選別し、質問に答える部分だけをLLMに渡します。Crawl4AIの2倍の確率で正解ページを発見し、Claude自身にクロールさせるより10倍安く済む点が特徴です。

MCP server and CLI that crawls websites for AI agents: finds the answer page 2x more often than Crawl4AI, 10x cheaper per answer than letting Claude crawl.