AMAZINGINDEX.COM 日报快照
52.9
VOL. 2026.06
2026.06.26
← 返回 2026.06.26 日报
日报快照 · Daily Snapshot
NO. 008

52K星爬虫绕过JS逆向直接抓抖音小红书

#REPO GitHub Trending 2026.06.26
推荐指数 47.0 NO. 008 · 2026.06.26
Stars52,713

基于Playwright的多平台自媒体爬虫,无需破解加密算法即可获取签名参数。对需要合规采集公开社媒数据的AI团队,大幅降低技术门槛和法律风险。

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫

52K星爬虫绕过JS逆向直接抓抖音小红书

传统爬取抖音、小红书需要投入大量精力做JS逆向和签名算法破解,团队通常用mitmproxy抓包或雇专人维护逆向逻辑,成本高且随时失效。这个项目换了一条路:用Playwright保留登录态的浏览器上下文直接执行JS表达式获取签名,把"对抗平台"变成了"借用平台自己的浏览器"。

跟Scrapy-Playwright或DrissionPage相比,它的优势是内置了7个主流平台的完整抓取逻辑和IP代理池,不是通用框架而是即开即用的工具箱。但注意免责声明的措辞强度——这类项目 stars 暴涨后往往面临平台方的DMCA或法律压力,生产环境使用建议先做合规评估。

最适合两类人:一是做舆情分析、品牌监测的AI产品经理,需要快速验证数据可行性;二是研究推荐算法、内容理解的工程师,需要批量获取真实样本但不想踩逆向的坑。

Star History
Production

国内社媒爬虫领域头部开源工具,填补合规采集公开数据的工程化方案空白

独特价值:绕过逆向破解,以Playwright模拟降低法律风险,适配多平台自媒体数据合规采集

查看原文 →