Playwright 绕过反爬抓取 7 大平台
推荐指数 37.0 NO. 009 · 2026.08.11
Stars60,933
为什么值得看
MediaCrawler 用 Playwright 保留登录态直接获取签名参数,无需 JS 逆向即可爬取小红书、抖音、B 站等主流平台公开数据。对需要合规采集社交媒体数据的团队,技术门槛比传统逆向方案低一个数量级。
小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫
媒体预览
编辑判断
做社媒数据采集团队过去两条路:要么养一堆逆向工程师跟平台加密算法硬刚,要么买第三方 API 被中间商赚差价。这个项目用 Playwright 的浏览器上下文持久化绕过了签名生成环节,本质是用资源换人力,适合快速验证但大规模跑成本不低。
跟 Scrapy-Playwright 或 Crawlee 这类通用框架比,它的价值在预置了 7 个平台的登录和解析逻辑,开箱即用。但如果你要抓的是非公开数据或需要高并发,还是得回到逆向或买代理的老路上。
最该试的人:做舆情监控、选品分析的小团队,或需要快速验证 PMF 的创业者,半天就能跑通数据 pipeline。
Star History
生态分析
Production
国内社交媒体爬虫工具中 stars 最高的头部开源项目,降低合规数据采集技术门槛
独特价值:无需 JS 逆向,Playwright 保留登录态直接获取签名,技术门槛显著低于传统方案