D4Vinci/Scrapling — 自适应网页爬虫框架，页面改版后自动重定位元素，绕过反爬（56k ⭐）
Python 网页爬虫框架，解析器能学习网站变化并自动重定位元素，内置 Fetcher 开箱绕过 Cloudflare 等反爬系统，支持单请求到大规模并发爬取，带暂停恢复和代理轮换。
爬虫
Python
反爬绕过
+3
5
XHS Spider - 小红书数据采集工具
专业的小红书数据采集工具，支持批量获取小红书内容数据，为数据分析和研究提供技术支持
数据采集
小红书
爬虫工具
+2
3
爬虫JS逆向结合AI实战合集
专业的爬虫JavaScript逆向工程与AI技术结合的实战教程合集，涵盖反爬虫对抗和智能化数据采集技术
爬虫技术
JS逆向
AI实战
+2
9
Crawl4AI - AI 友好的网页爬虫
🚀🤖 Crawl4AI, Open-source LLM-Friendly Web Crawler & Scraper
AI
爬虫
开源
+1
12
Firecrawl - AI 网页数据抓取 API
The web crawling, scraping, and search API for AI. Built for scale. Firecrawl delivers the entire internet to AI agents and builders. Clean, structured, and ready to reason with.
AI
爬虫
API
+1
4