想让 AI 帮你读网站、扒数据，最大的麻烦是网页太"脏"：广告、导航、脚本混在一起，塞给大模型又贵又乱。Firecrawl 就是来解决这个问题的——给它一个网址，它还你一份干净的 Markdown 或结构化数据。这个开源项目在 GitHub 上收获了 18 万+ Star，已经成了 AI 圈抓网页数据的默认选择之一。
这是什么
Firecrawl 是一个开源的网络数据 API，核心代码以 AGPL 协议开源。你不需要自己写爬虫、处理反爬和 JS 渲染，只要调用它的接口：搜索、抓取、整站爬取、结构化提取四件事一站搞定，输出天生就是给大模型"吃"的格式，省 token 又省事。
核心功能
- Scrape 单页抓取：给一个 URL，返回干净 Markdown；JS 重度渲染的页面也能处理
- Crawl 整站爬取：顺着链接把整个网站抓下来，适合给知识库、RAG 喂语料
- Search 搜索：搜关键词直接返回带全文内容的搜索结果，不只是链接列表
- Extract 结构化提取：按你定义的字段把网页变成整齐的 JSON，比如价格、标题、联系方式
- Actions 交互操作：抓取前能先点击、滚动、等待，动态页面也不怕
- 智能体友好：原生支持 MCP，一条命令就能接进各类 AI 智能体；还能解析 PDF、DOCX 等文档
免费吗
核心代码 AGPL 开源，可以自托管免费使用；官方云服务有免费额度，量大再按调用付费。需要说明的是，云端版个别高级反爬能力不在自托管版里——但对绝大多数场景，自托管版已经足够强悍。对做 AI 应用的人来说，先在云端免费用、跑顺了再自托管是条很稳的路线。
适合谁
- 做 RAG、AI 搜索、智能体产品，需要实时网络数据的开发者
- 要抓竞品价格、行业资讯、市场情报的数据与运营团队
- 不想再维护爬虫、代理池和反爬对抗的独立开发者
怎么开始
最快路径：去官网注册拿一个 API Key，照着文档调 /scrape 接口，几分钟就能把第一个网页变成 Markdown。想自托管就去 GitHub 仓库按文档用 Docker 部署。把它和 n8n、Dify、OpenClaw 这类工具串起来，就是一条完整的"抓取 → 处理 → 自动化"流水线。