D4Vinci/Scrapling — 自适应网页爬虫框架,页面改版后自动重定位元素,绕过反爬(56k ⭐)
Python 网页爬虫框架,解析器能学习网站变化并自动重定位元素,内置 Fetcher 开箱绕过 Cloudflare 等反爬系统,支持单请求到大规模并发爬取,带暂停恢复和代理轮换。
爬虫
Python
反爬绕过
+3
0
CloakHQ/CloakBrowser — 通过所有 Bot 检测的隐身 Chromium,Playwright 直接替代品(6.3k ⭐,今日 +1,320)
能绕过所有主流 Bot 检测(Cloudflare、DataDome、PerimeterX)的隐身 Chromium 浏览器,完全兼容 Playwright API,是自动化、爬虫、测试工程师的利器。
浏览器自动化
反Bot检测
Playwright
+3
0
Lightpanda — 专为 AI 和自动化设计的无头浏览器(15.7k ⭐)
lightpanda-io/browser 是专为 AI Agent 和自动化任务优化的无头浏览器,内存占用极低、执行速度极快,支持 JavaScript 渲染,是 Puppeteer/Playwright 的轻量替代。
无头浏览器
AI自动化
爬虫
+2
0
Crawl4AI - AI 友好的网页爬虫
🚀🤖 Crawl4AI, Open-source LLM-Friendly Web Crawler & Scraper
AI
爬虫
开源
+1
4
Firecrawl - AI 网页数据抓取 API
The web crawling, scraping, and search API for AI. Built for scale. Firecrawl delivers the entire internet to AI agents and builders. Clean, structured, and ready to reason with.
AI
爬虫
API
+1
0
Crawlee - Node.js 爬虫自动化框架
Apify 开源的 Node.js 网页爬虫和浏览器自动化库,支持 Playwright/Puppeteer,构建可靠的爬虫系统。
爬虫
Node.js
自动化
+1
192