本地RAG agent，配置比想象中麻烦

周末折腾了一下Akintu这个本地RAG agent，踩了不少坑。说是agent，其实核心还是检索增强生成（RAG），就是让大模型先从一个私有知识库里检索相关片段，再基于这些片段生成回答，避免拿整个模型去重新训练，成本低得多。他们主打的是本地运行加知识图谱，Hacker News上有人问过一个问题：agent接触到知识图谱之后，推理代码的能力会不会变强。我这边测下来的结论是：看你怎么定义强。

先说部署。我拿了一台带GPU的工作站，按文档拉镜像、起容器，大概半小时能跑起来。但真正花时间的是喂数据。我丢了一组实验室的内部文档，PDF加Markdown混着，大概两百多页。建索引（就是把文档切块、向量化、存进向量库）这一步用了差不多二十分钟，中间有两份扫描版PDF直接识别成乱码，得先跑一遍OCR再喂。这个跟用LangChain或者n8n搭的RAG流程没什么本质区别，工具成熟度也就那样，别指望开箱即用。

检索效果是亮点。我拿几个技术问题去问，比如某个实验流程的试剂配比，它能把文档里相关的段落捞出来，回答还带引用来源，这点比直接问大模型靠谱。但有个问题：检索准了，生成还是可能跑偏。有一次它检索到的片段是对的，生成的结论却把两个相近的试剂浓度搞混了。这就是典型的RAG缺陷，检索和生成是两套东西，中间没有强约束。知识图谱理论上能补这个短板，但我这边试下来，图谱构建得自己定义实体和关系，默认效果一般，需要手动调。

界面就一个Web控制台，能看检索日志、调参数，但交互很朴素。我没看到批量导入的入口，文件得一个个拖进去，文件多了有点想骂人。另外本地跑起来显存占用不小，我只开了一个模型实例，大概吃掉12GB，如果同时跑多个任务会卡。文档里说支持多检索器，但我没试出来并行效果，可能我配置有问题，也可能这功能还没做扎实。

结论：适合手头有私有知识库、又不想把数据送出去的人，比如实验室、小团队。不适合想开箱即用、不想折腾的。RAG这方向本身不新，Akintu胜在把本地化和知识图谱打包在了一起，但离「好用」还有距离。我一个做计算机视觉的，平时用Claude Code和Codex处理代码检索倒是习惯了，回到这种本地部署的agent，感觉配置成本还是高。工具再强大，手动调教的功夫一分都省不掉，老话。

---

本文编译自 Hacker News，原文：https://akintu.ai
版权归原作者所有，本文为基于公开报道的编译与独立分析。