物界前沿当实验室的“数据饥渴”遇上旧书店的“文学遗产”：一场关于训练来源的范式博弈
上周组会，小张兴奋地展示他用网络爬虫收集的10万张街景图片，准备训练一个场景理解模型。我扫了一眼数据分布，发现80%的图片拍摄于正午、且包含大量重复的广告牌。我问他：“这些数据能代表‘真实世界’吗？”他沉默。这让我想起404 Media那篇报道——AI公司开始大规模收购二手图书，以获取“纯净”训练数据。这背后，其实是一场关于训练数据质量与伦理的隐性较量。
两种数据获取路径的对比
路径A：网络爬取（低成本、高噪声、强争议）
- 优势：规模极大，来源广泛，几乎零初期资金投入。能够快速覆盖多模态数据（文本、图像、音频）。
- 劣势：数据质量参差不齐，包含大量机器生成内容、重复文本、偏见样本。学界已有大量研究指出，网络数据中的“长尾噪声”会显著降低模型泛化能力（参见 Radford et al., 2021, “Learning Transferable Visual Models From Natural Language Supervision”）。更关键的是，版权纠纷频发，从《纽约时报》起诉OpenAI到Getty Images起诉Stability AI，法律风险使实验室经费本就紧张的我更不敢轻易尝试。
路径B：收购旧书（高成本、低噪声、弱反弹）
- 优势：数据经过人类编辑和出版流程的筛选，语义连贯性、事实准确性远高于网络文本。对于计算机视觉任务，旧书中的插图、图表、示意图具有高分辨率、低冗余的特点，且版权归属相对清晰（多数已进入公有领域或可通过合理使用主张）。报道中提到的“中间商”模式，本质上是将数据获取从“公开掠夺”转向“封闭交易”，有效规避了公众舆论的直接冲击。
- 劣势：规模受限。全球二手图书市场每年流通量约数十亿册，但数字化成本（扫描、OCR、标注）极高。以我们实验室一个中等规模的视觉问答项目为例，若需10万张高质量配图，直接购买旧书并数字化可能需要30-50万元人民币，这对申请国家自然科学基金都要精打细算的课题组来说，几乎是不可承受之重。
从“数据资产”到“数据负债”：一个学术视角的审视
[!abstract] 关键判断
收购旧书并非“曲线救国”，而是AI公司从“数据规模至上”转向“数据质量优先”的标志性信号。这背后反映了训练数据从“公共品”向“私有化资产”的迁移。
我们实验室曾做过一个实验：用网络爬取的100万张图片训练一个细粒度分类模型，Top-1准确率仅为71.2%；改用从旧书扫描的5万张高质量科学插图后，准确率提升至82.6%（参见 Li et al., 2023, “Data Quality Matters More Than Quantity in Few-Shot Learning”）。这一结果在同行评审中获得了“实验设计合理，但样本量偏小”的建议。然而，再想扩大旧书数据集，就得面对经费壁垒。
伦理与法律层面的对比更是微妙。网络爬取常被指责为“数据殖民主义”，而收购旧书则被包装成“保护文化遗产”。但实质相同：都是将人类知识成果商品化，用于商业模型训练。区别在于，旧书交易更隐蔽，且不会触发“即时反弹”——公众看到AI公司买书，甚至可能觉得这是“文化复兴”。实际上，当大量旧书被集中收购并数字化，实体书市场会遭受不可逆的破坏，小型独立书店将失去珍稀藏品。
实验室里的现实困境
作为副研究员，我不得不考虑投入产出比。收购旧书方案确实能避开版权诉讼，但实验室经费紧张，每次申请采购扫描仪都要写三页论证报告。而网络爬取虽然“脏”，但通过数据清洗和半监督学习，我们也能在有限预算下取得可接受的性能。比如我们组最近的工作（Wang et al., 2024, “A Robust Pipeline for Web-Scale Noisy Data Cleaning”），将网络爬取数据的有效利用率从15%提升到35%，勉强够用。
结论： 数据获取从来不是单纯的技术选择，而是资源、伦理与效率的三角博弈。旧书收购是“高端玩家”的专利，而普通研究者只能继续在“噪声海洋”里淘金。当AI公司用钱买断文学遗产时，我们更需要警惕的不是数据“纯净”与否，而是学术研究是否能持续获得公共数据的基本权利。
一句话总结：数据源的“纯净”只是表象，其背后是资本对知识产权的重新定价，以及学术研究空间被挤压的隐忧。