52K星爬虫绕过JS逆向直接抓抖音小红书
推荐指数 47.0 NO. 008 · 2026.06.26
Stars52,713
为什么值得看
基于Playwright的多平台自媒体爬虫,无需破解加密算法即可获取签名参数。对需要合规采集公开社媒数据的AI团队,大幅降低技术门槛和法律风险。
小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫
媒体预览
编辑判断
传统爬取抖音、小红书需要投入大量精力做JS逆向和签名算法破解,团队通常用mitmproxy抓包或雇专人维护逆向逻辑,成本高且随时失效。这个项目换了一条路:用Playwright保留登录态的浏览器上下文直接执行JS表达式获取签名,把"对抗平台"变成了"借用平台自己的浏览器"。
跟Scrapy-Playwright或DrissionPage相比,它的优势是内置了7个主流平台的完整抓取逻辑和IP代理池,不是通用框架而是即开即用的工具箱。但注意免责声明的措辞强度——这类项目 stars 暴涨后往往面临平台方的DMCA或法律压力,生产环境使用建议先做合规评估。
最适合两类人:一是做舆情分析、品牌监测的AI产品经理,需要快速验证数据可行性;二是研究推荐算法、内容理解的工程师,需要批量获取真实样本但不想踩逆向的坑。
Star History
生态分析
Production
国内社媒爬虫领域头部开源工具,填补合规采集公开数据的工程化方案空白
独特价值:绕过逆向破解,以Playwright模拟降低法律风险,适配多平台自媒体数据合规采集