
社区讨论 · 其他
湖仓一体省的是存储,不是清洗
说个事。前阵子我把一批蛋白结构预测的中间结果往 Databricks 里灌,几万个结构文件加打分表。写进去很快,读的时候卡住了。同一批任务里字段名前后不一致,有的叫 plddt,有的叫 score。读时模式不报错,一路往下传,直到聚合那一步才炸。
湖仓一体把存储和计算解耦了,没把数据质量解耦。它只是把核对数据的成本推到了下游。
InfoWorld 那篇评测的作者跟着三个 Azure Databricks 教程走了一遍,说上手不难,难的是搞清楚哪些治理该在写入时做。我这边测下来感受差不多。Unity Catalog 和 Delta Lake 本身都挺扎实,Spark、MLflow 这些开源底子也在,工具链不缺。缺的是你在入库那一刻有没有想清楚 schema 该长什么样。
做结构预测也是这个道理。序列丢进去,结构出来,中间那层物理约束才是真功夫。数据平台一样。湖仓只是让你存得便宜、算得开,约束还得自己写。
如果你的数据来源是湿实验那种一天一个格式的东西,别指望平台帮你兜底。先把 schema 当实验方案来写,写死在入库那一步,比在下游查半天强得多。
物界前沿