便宜爬虫背后，成本只是换了位置

我上周在 Hacker News 看到一篇讲低成本 AI scraping 的帖子，开头数据挺扎眼。一个叫 My Mind is Racing 的项目，追踪 53,000 多个游泳、跑步、铁三和综合运动赛事，背后还有超过 22,000 个组织。单看数字，它像个运动信息聚合站。放到企业数字化里，它更像便宜工具撬动数据生意的例子。

这件事让我有点敏感。做咨询这两年，客户常问现在 AI 都能读网页、抽字段了，是不是不用养爬虫团队。我的判断反过来了。AI scraping 把写规则、修选择器的活变轻了，成本没有消失，只是从开发端搬到了数据治理端。

工具层确实低了。我最近翻了一圈常见方案，Firecrawl、Bright Data、ScrapingBee、Apify、Oxylabs 这类厂商都在把抓取和解析打包成 API。免费额度通常很小，有的每月只有几页，有的几十 credits。付费也常见从十几美元到几百美元一个月。看起来像云服务，按量付费，试错成本很低。

真到项目里，便宜只是第一层。上个月帮一个客户梳理竞品价格与渠道动态，最初选型很快，一周就能把页面抓下来。麻烦在第二周。页面模板变了，价格藏在弹窗里，组织名有空格，日期格式三套混用。模型能把一页 HTML 变成 JSON，却不会替业务判断这个 SKU 是不是同一个产品。这活儿最后还是要人验收。

AI scraping 压缩的是中间环节，识别字段、抽取内容、格式转换。两端反而更花钱。前端要定义数据源，哪些网站算资产，哪些页面能抓，抓不到怎么办。后端要做数据运营，字段漂移了谁负责，新鲜度不够谁补，错误进了报表谁背。工具商把技术做成了按钮，企业要把流程做成长期能力。

这也解释了为什么对标海外案例时，容易高估技术，低估运营。My Mind is Racing 这类项目看起来轻，核心是能长期维护 53,000 多个赛事和 22,000 个组织的关系。赛事会改时间，组织会换域名，报名页会改版，缓存会过期。一个稳定更新的数据库，背后是持续投入。

工具侧竞争很激烈，价格被压低，客户选择变多。可进入壁垒低，不等于商业壁垒低。难复制的是数据资产目录、清洗规则、异常样本库和合规边界。很多公司以为买了工具就有数据，结果只是多了一堆没人认领的原始 HTML。

我这边最近也在用 agent harness 和一些检索流程跑小样本，感受比较直接。LLM 适合做初稿，适合从乱七八糟的页面里先抽一版字段。它不能当裁判。涉及金额、时间、组织归属、合规来源时，必须有一组 golden set 做验收。没有验收标准，AI 抽取越快，错误传播越快。

这和我之前聊 AI 辅助写作时有点类似。工具省了打字时间，精力会转到严格验收和结构化流程管理。scraper 也这样。过去一个工程师写选择器，错了会明显报错。现在模型把页面吞了，吐出字段，错了可能很自然，甚至像那么回事。越自然，越危险。

合规也是坑。很多便宜方案默认你能抓，但业务上能不能抓、能不能用、能不能对外售卖，是另一回事。公开网页不等于可商用数据。企业项目里，我一般会把来源分层，官方接口优先，公开信息可缓存，疑似版权或隐私内容先停。这个规则不性感，但它决定数据资产能不能长期用。

跨部门落地比工具本身难。市场部门要竞品价格，产品部门要用户反馈，法务部门问来源，财务部门要可审计。最后大家都会要求一个统一数据口径。这时候，目录规范、字段 owner、更新频率、异常审批，比选哪家爬虫 API 更关键。我见过不少团队，工具买了不少，数据还散在个人表格和临时脚本里。

接下来，AI scraping 会从能不能抓到转向能不能持续供给。便宜抓取会越来越像云计算。企业最后拼的是谁把数据变成可复用资产。如果只盯着模型和工具报价，很容易低估后面的人、流程、验收和治理成本。

工具便宜，数据运营不便宜。选型时最好把这句话记住。

这类产品会继续变轻，前端一个 prompt，中间一个解析器，后面一个数据库。做数字化转型时，要看的还是页面能不能变成别人敢用、能复用、能审计的数据。

---

📌 本文编译自 Hacker News，原文 https://www.olafalders.com/2026-09-08/ai-scraping-on-the-cheap/

版权归原作者所有，本文为基于公开报道的编译与独立分析。