浏览器内跑大模型，无需服务器

浏览器端推理之前要么用 WebAssembly 性能拉胯，要么依赖 transformers.js 但模型支持有限。WebLLM 的差异化在于直接对接 Hugging Face 生态，支持 Llama、Phi、Qwen 等主流模型，且用 TVM 编译优化到接近原生 GPU 利用率。

跟 Ollama 这类本地方案比，WebLLM 不需要用户安装任何软件，点开网页即用，这对 C 端产品获客是质变。做 AI 伴侣、文档处理、代码辅助的创业者可以重点评估：省掉推理服务器成本后，商业模式能从订阅制转向广告或增值功能。

目前 function calling 还是 WIP 状态，复杂 agent 场景暂时跑不通，建议先拿来做单轮对话或 RAG 问答。