不懂机器学习，怎么在 Mac 上跑个本地模型

作为一个完全不懂机器学习的人，我前几天试了一下在 Mac 上跑本地模型。我用的是苹果自家的 MLX，不走云端 API。

值不值得用，看你想要什么。

如果你是想让模型跑在自己电脑上，数据不出本机，那 MLX 是目前 Mac 上最直接的一条路。装起来不复杂，命令行两三条就能出结果。但如果你想要一个开箱即用、点点鼠标就能用的东西，那它不适合你，它是个给开发者用的工具，不是给终端用户的产品。我做医疗这块，数据不出本机这个点对我来说是有分量的。

我这边测下来，从零到模型吐出第一句话，大概二十来分钟，其中一半时间花在等下载。

为什么是 MLX 而不是 Core ML。这两个都是苹果的，新手最容易在这里绕晕。

	Core ML	MLX
拿来干什么	把训练好的模型塞进 App，让 iPhone、Mac 上跑	在 Mac 上直接写、直接算、直接跑模型
要不要写代码	App 开发者才碰得到	要，Python 或命令行
开源吗	框架本身是苹果专有的，配套转换工具开源	完全开源，MIT 许可
花钱吗	免费，但要苹果开发者账号	免费，没有别的门槛

我自己的判断是，Core ML 管部署，MLX 管实验。 你要把模型放进一个 App 给用户用，走 Core ML。你要在本地跑个开源模型、改改参数、看看效果，走 MLX。素材里也是这个说法，MLX 是从开源模型到 Apple 芯片实验之间最直接的一条路。

苹果在 WWDC 那场讲 MLX 的分享里有一句话，大意是他们展示了用 MLX 做推理、训练和量化有多简单，代码和终端命令两条路都行。我这次走的是终端那条。

下面是我走的完整流程。

1. 先确认你的 Mac 芯片。点左上角苹果图标，进 关于本机，看「芯片」那一行。写 M1、M2、M3 这类就是 Apple silicon，能跑。如果是 Intel 的，这篇到这就结束了，MLX 只支持 Apple silicon。

2. 打开终端。按 Command + 空格，输入 终端，回车。出来一个窗口，光标一闪一闪。这就是终端，你在这里打字，电脑执行。

3. 装 MLX 的语言模型工具包。在终端里输入 pip install mlx-lm，回车。屏幕上会滚过很多行字，正常。最后一行没有红色的报错，就是装好了。

4. 下载并跑一个模型。输入 mlx_lm.generate --model，后面跟一个模型名，再加 --prompt "你好，介绍一下你自己"，回车。

第一次跑会先下载模型权重，屏幕上出现进度条，百分比一点点往上走。我下的那个不算小，等了十来分钟。下载完之后，终端先把你的问题打出来，然后一行一行往外吐模型生成的文字。

5. 看到文字流出来，就成了。模型存在本地了，第二次再跑同一个模型不用重新下。

踩坑的地方来了。

第一个坑，pip 找不到。输入 pip 提示 command not found。解决办法是先装 Homebrew，再 brew install python，然后回来装 mlx-lm。这一步我当时卡了挺久，报错信息看着吓人，其实就是路径没配上。

第二个坑，模型名字写错。--model 后面跟的名字是固定的，不能自己编。写错了它会去找一个不存在的仓库，报 404。我的做法是先在社区里找一个别人跑过的模型名，直接复制，别手敲。

第三个坑，内存。模型是加载到内存里跑的，Mac 的统一内存是 CPU 和 GPU 共用的。

你要是选了个特别大的模型，跑到一半机器开始卡、风扇狂转，就是内存不够了。新手先选小一点的模型跑通，别一上来就上最大的。

MLX 的计算是惰性的。你写了代码，它不一定马上算，等到真正需要结果的时候才动手。对新手来说这意味着一件事，程序没反应不一定是卡死了，可能只是在等。别急着按 Ctrl+C。

整个流程里，下载比算慢得多。模型开始生成之后，速度比我想象的顺。素材提到它在 Apple silicon 上做了统一内存的优化，我这边体感对得上。

跑通之后，先别急着换更大的模型。把同一句话换个问法多跑几遍，看它回答稳不稳定；再试试量化过的版本，同一个模型压小一点，看速度和质量怎么权衡。训练和微调是另一个话题，先把推理这一步跑熟。