用AI之前，先学会判断AI的答案对不对

被朋友安利了一篇文章，讲的是AI的"能力差"和"判断差"。大意是：AI产出东西的速度，远远超过了我们判断产出好坏的速度。你让AI十分钟写一份市场分析，它写得又快又顺，但你有没有能力看出这份分析里哪些结论是错的？这就是问题。

我刚开始用AI的时候，完全没意识到这件事。那时候觉得AI说什么都对，给什么用什么。直到有一次翻车，才明白过来。

先说个背景。我这阵子在帮朋友做一个内部工具，需要把一堆散落的文档整理成结构化数据。朋友是完全的新手，不懂代码也不懂AI，我就手把手教他走了一遍完整的流程。整个过程大概一周，正好可以拆成三个阶段。

第一天：搞清楚你要让AI做什么

新手最容易犯的错，是上来就把一个巨大的问题丢给AI。"帮我整理这些文档"这种话，AI听了也懵。你得先自己把任务拆开。

我让朋友先做一件事：把任务写下来，拆成小步骤。比如"第一步，把文档里的日期提取出来"“第二步，把金额统一成人民币”“第三步，按客户分组”。每一条都写清楚，能写多细写多细。

然后才是让AI干活。这里有个关键点：你不需要懂技术，但你需要懂你自己的领域。朋友是做财务的，他不需要知道AI怎么实现，但他必须知道"日期格式不对"是什么样、“金额对不上"是什么问题。这就是那篇文章里说的"判断能力”——你能判断AI的输出对不对，比你能亲手做这件事更重要。

第三天：开始用AI，但别急着全部相信

我们用的工具很简单，就是普通的AI对话，让它逐段处理文档。朋友发现AI处理得很快，但偶尔会出错。比如有一份合同里写的只是个日期，AI愣是给整理成了带年份的完整日期。原文根本没写年份。

这个错误，如果朋友不懂业务，根本发现不了。他问我怎么办，我说最好的办法是：让AI每处理完一段，把原文和结果并排显示，你扫一眼就能看出来。后来我们调整了提示词，让AI输出的时候带上原文引用。这一步很关键。

还有个坑：AI有时候会表现得特别自信。它不会说"我不确定这个年份"，它会直接写一个它觉得最合理的年份。这就是那篇文章里说的"AI的自信和能力之间的差距"。你看着它理直气壮的样子，很容易就信了。但其实它只是猜的。

一周后：形成你自己的检查习惯

到后面，朋友已经能熟练地让AI做整理工作了。但我们的工作流里多了一步：随机抽查。每处理十份，就挑一份人工核对。

这个习惯很重要。因为AI的错误往往不是随机的，它有固定模式。我们后来发现，这台AI特别容易在处理长文档时漏掉表格数据。知道这个规律后，每次遇到带表格的文档，就会多留意一眼。

那篇文章里提到一个观点，AI时代真正的分水岭，是你有没有能力判断AI的产出。我深有体会。我不是财务出身，但我知道一份文档整理得对不对；我不会写市场分析，但我知道一个结论靠不靠谱。这种判断力，不是AI能教给你的，得靠你自己在行业里的积累。

最后说点实际的。这周折腾下来，我们大概处理了两百多份文档，AI的准确率相当高，但确实不是百分之百。我估计大约有5%的内容需要人工修正。不过这已经比纯手工快太多了，效率提升了得有十倍。

如果你也想试这个流程，我的建议是：第一天先找一个你完全熟悉的小任务，哪怕只是整理十行通讯录。用AI做完后，每条都核对一遍，看看它错在哪里、为什么会错。连续做十天，你的判断力就练出来了。到那时候，你再让AI帮你干大活也不迟。

学完这个，下一步可以试试把AI的输出和真实结果做对照，比如让它预测你们的月度数据，月底再对一次。你很快就会发现，AI的误差率比你想的高，但它的价值也比你想象的大。关键是，你得先学会当那个裁判。

---

本文编译自 Hacker News，原文：The AI Competence/Judgement Gap - Itamar Gilad
版权归原作者所有，本文为基于公开报道的编译与独立分析。