AI 数学题别急着问，先搭个验证流程

周末折腾了一下用 AI 解数学题并验算，踩了不少坑。起因是看到一篇报道，标题大意是 AI 已经强到能啃最难数学问题，也顺带扯到风险。我第一反应是担心自己。做芯片验证的人最怕工具给出漂亮结果，底下没有证据链。

先解释两个词。AI 模型是能接着你的话往下写的程序，你给题目，它给解答。验证流程像芯片测试，规定输入是什么、通过标准是什么、失败怎么留记录。没有这套流程，问 AI 数学题很容易变成它自信，我更自信。

先选一道短题。别选开放题，选有确定答案的。比如「3 个人随机坐在一排 5 个座位，任意两人不相邻的概率是多少」。新手容易选证明某个猜想，这类题没有清晰验收边界，AI 会开始编。

打开你常用的 AI 对话页，比如 Claude 网页版，点 新对话。先别问答案，输入 请复述这道题，列出已知、目标、边界条件。 预期看到它把题目拆成 5 个位置、3 个人、不相邻、求概率。

盯它的复述。这一步最关键。如果它把「不相邻」理解成不能挨着坐，但漏掉任意两人，马上纠正 任意两个座位号都不能相差 1。 就像看芯片规格书，差一个字，后面全偏。

让它分步解，输入 不要直接给最终答案，先列计数方法，再列计算式。 你会看到它写总情况数、满足条件的情况数。若它跳步，就追问 请解释每一步为什么成立。

让它找反例。反例就是专门挑错的小例子。输入 给出一个容易算错的情形，并说明错在哪里。 好的回答会提到座位有没有编号，或者人的排列顺序。若它说没有反例，我一般不信。

本地验算。打开电脑终端，也就是输入命令的黑框，输入 python3，看到 >>> 后输入 import math，回车；再输入 math.comb(5,3)，回车，看到数字。这个 math.comb(5,3) 的意思是 5 个座位里选 3 个座位。没有 Python 就手机计算器算几个中间数，重点是自己留一份证据。

归档。新建一个文本文件，里面放原题、AI 复述、AI 解答、你的验算、最终结论。别小看这一步。芯片里没归档，过两周谁也不知道当时怎么过的。

中间踩坑不少。我前阵子用 Harness 做小工作流验证，把它理解成脚手架，帮模型调用工具。它能跑通任务，但不能替你判断对错。有一道题，AI 把总情况数写成 5 选 3，又乘了人的排列，最后概率大于 1。它语气特别稳。要是我只看结论，就真被带过去了。

另一个坑是自报状态。它会说已经验证，但没写怎么验证。这在工程里叫假通过。功耗墙的问题也一样，这个工艺节点算力堆不动，关键反而变成验证覆盖率和测试激励。数学题也是，真正要紧的是证据链。

这个流程有好处，也有边界。好处是门槛低，会打字就能让 AI 帮你拆题意；也能暴露你的模糊表达，你写不清不相邻，它就会理解偏；还适合做练习，一道题可以问它换条件怎么办，比如座位变成 6 个，人会怎么变。边界是它不能直接当权威，可能把组合数算错，也可能引用一个不存在的定理；长题容易漏条件，上下文一长，前面边界会被它忘掉；如果你不验算，它会把你的错误信心放大。

我的判断是，适合把 AI 当题目拆解器和反例生成器，不适合当数学裁判。你问它解题，可以；你信它证明，不行。至少本地验算过，或者用程序把关键计数复算一遍。

有报道提到，某家 AI 公司研究员认为存在超过 10% 的风险需要重视。这个比例是不是准确，我不评价。但工程上我很同意一点，风险越大，越需要可验证的小流程，少做情绪化转发。

下一步可以拿同一道题问两个不同模型，比较它们在哪一步开始分歧。分歧点通常是假设条件没写清。再下一步可以学一点 Python，把组合数写成脚本。先让一个答案留下证据。

---

📌 本文编译自 Hacker News，原文 https://www.wsj.com/tech/ai/ai-math-millennium-prize-safety-openai-anthropic-05179825

版权归原作者所有，本文为基于公开报道的编译与独立分析。