双层多智能体解决网页搜索两难
推荐指数 66.0 NO. 023 · 2026.05.04
upvotes20comments1
为什么值得看
Web2BigTable 用双层架构让多个 LLM 智能体分工协作，同时搞定广度聚合（跨实体填表）和深度推理（长链条搜索）。对做企业级数据抓取、竞品监控或知识库构建的团队，这可能是替代传统爬虫+人工清洗的新范式。
编辑判断
当前做大规模网页信息提取的主流方案还是 Playwright/Selenium 配规则引擎，遇到反爬和动态渲染就崩，维护成本极高。Web2BigTable 的聪明之处在于把"广度"和"深度"拆成两个层级，用不同智能体负责不同粒度，避免了单智能体在搜索空间爆炸时的注意力溃散。
跟 Firecrawl、Jina AI 这些现成工具比，它强在能处理跨实体一致性约束（比如确保 A 公司的融资轮次和 B 公司的投资关系对得上），这是纯解析工具做不了的。不过论文没提 API 成本和延迟，实际跑起来可能很贵。
如果你在做投研、供应链情报或学术数据收集，建议等代码开源后优先测它的 schema-aligned 输出模块，这可能是比搜索本身更难复现的部分。