花了两天试了一下Zerker AI Gateway,把agent调用当水管一样管起来
我花了两天试了一下Zerker AI Gateway,这东西的定位是AI网关,放在你的agent流量前面,把乱七八糟的HTTP调用和MCP请求统一收口,然后你想要记录、路由、拦截、计费都行。官网那句话挺有意思:every agent call, through a door you own。翻译过来就是,每次agent调用,都过一扇你自己的门。
我最近在实验室帮师兄搭agent,三个模型供应商来回切,prompt日志散得跟实验室桌面的数据线一样。看到这个网关的时候第一反应是,终于有人把API网关那套思路搬到AI这层了。
先说装的过程。我用的是本地版,拉镜像跑起来大概十分钟。配置界面比我想象的干净,左边是路由规则,右边是guardrails的开关。我先把llama.cpp本地跑的模型和OpenAI的接口都配进去,然后写了一条路由规则,让普通问答走本地模型,复杂推理走云端。这个过程中最直观的感受是,以前这些逻辑都写在代码里,换个模型要改代码重新部署,现在在面板上拖一拖就完事。
然后是guardrails,这个词第一次听的人可能懵,其实就是给模型调用加护栏,比如拦截提示注入、限制敏感词、控制输出格式。我试着写了一条规则,把包含「忽略之前的指令」这种典型注入话术的请求直接拦掉,返回一个预设的拒绝消息。测了几个变体,简单的都能拦住,但绕弯的写法还是漏。不过这个功能的意义在于,规则是统一管的,不用在每个代码里自己写检查逻辑。
路由和token统计是意外的惊喜。跑了一下午,每个请求走哪个模型、花了多少token、延迟多少,全在面板上。以前我都是去各个供应商后台翻账单,现在一个页面全看完了。计费这块对不同团队按项目分开算钱,对工作室接活来说挺实用。
但缺点也得说。MCP协议的路由配置文档偏少,我找了一圈才搞清楚怎么把MCP请求也走网关,对新手不太友好。本地模型和云端模型同时配置的时候,参数格式不统一,踩了几个坑才跑通。这玩意本质上是给团队用的,个人玩的话,如果只用一家模型,花这个精力不值当。
有人把AI网关比喻成智能层的控制塔,这话不算夸张。但控制塔会不会变成新瓶颈,我持保留态度。
结论:如果你同时在用好几个模型,或者你的agent要给别人用、要记账、要审计,这个值得试。如果就一个模型一条调用链,那杀鸡用牛刀了。我这边测下来,Zerker的定位是给「流量多到需要管理」的人准备的,不是给刚入门跑demo的人准备的。
本文编译自 Hacker News,原文:https://zerker.ai/
版权归原作者所有,本文为基于公开报道的编译与独立分析。
物界前沿