↓跳到主要内容
  1. 技术笔记/

五一假期,我花了3.5亿Token,从零写了一套企业LLM WiKi

·2758 字 ·2 分钟

今年五一,除了杨浦滨江骑车和感受音乐节外,我都在跟 AI 结对编程。五天时间,烧掉大约 3.5 亿 Token,搭了八个微服务(gateway、core-api、repo-svc、search-svc、ingest-svc、agent-svc……),最终在 5 月 5 号把 Wiki 骨架跑通,一套面向企业的 LLM 知识库系统从零做到了 v0.12.1。

我不是专业程序员,这五天一行代码没手写,全部由 AI 生成。写完之后回头看,真正花时间的部分和敲代码关系不大。

一、Karpathy 的 LLM Wiki 思路 #

大多数人用 AI 和文档打交道的方式是 RAG:上传一堆文件,提问的时候 AI 去里面捞相关片段,拼一个答案。NotebookLM、ChatGPT 文件上传、各种知识库产品,基本都是这个路子。它解决的是“找不到”的问题,但每次提问都在重新发现知识:你问一个需要综合五篇文档的问题,AI 每次都要重新检索、重新拼接,答案依赖这一次召回了哪些片段。

Karpathy 说这个方式有个根本问题:没有积累。他提出的替代方案是让 AI 持续构建和维护一个 Wiki,每加入一个新文档,AI 读懂它,提取关键信息,更新已有的实体页面、概念页面、综述页面,标注新旧数据的矛盾,强化或挑战现有的综合判断。知识被编译一次,后续查询直接读更新后的页面。Karpathy 对这件事的比喻是:“Obsidian 是 IDE,LLM 是程序员,Wiki 是代码库。”

我看完想,这东西如果做成企业版,让每个员工按部门、岗位和个人兴趣形成知识积累,会很有价值。企业的知识库最怕两件事:文档放进去就没人维护,以及新旧制度冲突时没人知道哪一版有效。Wiki 模式把维护变成了 AI 的日常工作,人只需要在关键冲突上做裁决。这个想法就是五一开干的起点。

二、五天的节奏 #

5 月 1 日是项目启动。原始输入是 Karpathy 的 GitHub gist,我和 AI 一起写 PRD、系统设计、四阶段路线图和技术设计文档;一天搭完骨架,15 个文档一起落地。这个阶段最重要的产出是边界:哪些能力进第一版,哪些留到后面,多租户和权限从第一天就写进设计。

5 月 2 日收尾 MVP,微服务联调跑通。5 月 3 日接多源数据,IM Bot、RSS、通用 REST 连接器都接进来,同时加多租户隔离、权限审计和版权标注。当天跑了 50 租户压测,也做了蓝队渗透扫描,压测和渗透的结果直接变成了后面的修复项。

5 月 4 日补外围能力:会议语音自动转写、MinIO 文件归档、飞书/腾讯 webhook 对接、管理员后台、上传原文归档到 git、PDF 和图片自动 OCR、按密级分级的 PR 审阅流程。5 月 5 日收尾,实体页、概念页、综述页、索引和日志全部跑通,搜索结果给 Wiki 命中加权,并引入 [[wikilink]] 双链,正式对齐 Karpathy 范式。

五天,一个人,把原本需要 5 人团队干两个月的工程量压进了一个假期。这个估算按我的经验给出,不是精确报价。

最大的挑战是忍住不动手改代码。中间好几次看到 AI 写出很弱的 Bug,手已经放到键盘上,最后还是让它自己改;一旦我接手,它就不再需要理解那段代码,后面同类错误还会再来。最大的难点在测试,尤其是逻辑测试:AI 能跑通联调,但蓝队渗透发现的安全问题、chat 召回零命中的边界情况,仍然要人设计用例、看结果、判断对错。

三、“编程被解决了”是什么意思 #

Boris Cherny 的原话是“编程被解决了”,他接着解释,意思是写代码这个动作不再是瓶颈,软件本身仍然重要。这句话容易被读成“程序员没用了”,但他的重点在瓶颈转移:以前卡在实现,现在实现变便宜了,卡点来到定义和判断。工作从写代码转向写清需求、看 diff、判断结果,时间分配完全变了。

我这五天的时间主要花在四件事上:定义这个知识库要解决什么企业痛点;决定多租户怎么隔离、权限怎么设计、Wiki 结构怎么定;审核 AI 生成的代码和文档对不对、够不够好;处理蓝队渗透发现的安全问题和 chat 召回零命中的边界情况。真正写代码的时间很少,更多时间在写清楚需求、看 diff、跑测试、判断结果能不能用。

在这套系统里,技术实现是最容易的部分。真正难的是想清楚要做什么,以及判断做出来的东西对不对;人负责定义问题和验收结果,AI 负责把实现推出来。这个分工听起来简单,实际执行时要不断回答一个问题:哪些判断必须由人做,哪些可以交给 AI 试。

四、当编程门槛消失,人应该做什么 #

AI 可以写代码,但它不知道该写什么,也不知道写什么代码能解决什么问题。AI 可以搭架构,但它不知道这个架构是否符合企业的实际需求。AI 可以做压测,但它不知道真实场景里用户会怎么“滥用”这个系统。这些判断只能由人来补。

这五天我做的最有价值的事情,是三个关键决策。它们都落在方向和顺序上,代码不是重点:

  1. 把方向定在自维护 Wiki 上,没有把重心放在 RAG 的召回率上。 这个判断来自对 Karpathy 文章的理解,以及我对企业知识管理痛点的长期观察。AI 能帮我实现 Wiki 的页面结构,但帮不了我决定要不要放弃更熟悉的 RAG 路线。
  2. 上传原文归档进 git,按密级分级 PR。 这个决定来自在企业里踩过的坑:知识库没有审计和版权追溯,在合规层面就是个定时炸弹。AI 可以生成权限代码,但它不知道哪类文档该进哪一级审阅。
  3. 先做多租户隔离和安全验证,再做花哨的功能。 企业级产品里,租户隔离失效是一次就够的故障,安全本身就是准入门槛。蓝队渗透发现的漏洞,AI 在生成代码时并没有主动避开,这部分只能靠人把攻击面走一遍。

这些判断力来自十几年做 CEO 攒下的行业认知。AI 可以生成 100 个方案,但选出哪一个,取决于你对业务、合规和团队能力的理解;这种理解只能从真实业务里长出来。

五、企业的护城河在哪里 #

会变弱的壁垒有两类。转换成本以前很高,一套系统用三年,迁移数据、重新培训员工的代价让客户懒得换;现在 AI 可以帮着做数据迁移和适配,切换成本会下降。流程壁垒也一样,纯靠复杂业务流程设计建立的壁垒,在“给一个目标就不断迭代”的 AI 面前变得脆弱,Karpathy 说的“hill climb anything”就是这个意思。

不会变弱的壁垒是网络效应、规模经济和独占资源。网络效应依赖用户基数,规模经济依赖成本结构,独占资源依赖数据、人才和客户关系的所有权,这些都不是 AI 生成几段代码就能复制的。AI 能降低实现成本,但降低不了获取用户、建设渠道和积累信任的成本。

最被低估的是组织级的 AI 能力。Boris 分享过一个细节:Anthropic 内部没有手写的代码,所有 SQL 都是 AI 生成的;他的 Claude 和同事的 Claude 通过 Slack 互相通信,在运行过程中协商解决问题。这是组织能力,个人会用 AI 只是前提;一个公司的 AI 能力,取决于流程、协作方式和知识管理有没有围绕 AI 重新设计。

我花五天能做出一个知识库系统,不代表任何一个人拿着 AI 都能做。能做是因为对企业需求有判断力,对技术架构有直觉,以及不怕重新学一套完全不同的工作方式;这三样东西,AI 替代不了,也速成不了。

六、组织应该怎么调整 #

先给员工足够的 Token。我这五天的 Token 账单按星图(我们 UCloud 的 AI 平台 https://astraflow.ucloud.cn/ )的企业定价,大约是 13000 块人民币;这笔钱换来了一套能跑的知识库骨架,也买到了 AI 反复试错的空间。如果为了省 Token 限制调用次数,省下的是账面成本,丢掉的是模型把方案试错到可用的次数。

“程序员”这个岗位的定义也会变。未来团队里每个人都会编程,工程经理、产品经理、设计师、数据科学家、财务、用研都能通过 AI 把想法变成可运行的系统,未必需要先学会一门语言。企业更缺的是懂业务的人,程序员的绝对数量不再是瓶颈。

组织知识的管理方式也要跟着改。Wiki 模式要求把维护责任写进流程:新文档进来谁负责更新实体页,出现矛盾谁裁决,过期内容谁清理;这些责任不落到人,AI 只会把旧错误编译得更整齐。知识库的价值主要取决于之后每一天的更新质量,第一次导入只是一次性动作。

七、AI 的下一个目标是什么 #

编程被解决之后,下一个被改变的对象可能是组织本身。一个人可以用 AI 快速构建复杂系统,但一个人的时间和判断力有上限;更大的杠杆来自组织里的每个人都能这样工作,共享知识库持续更新,Agent 之间能互相协调。

这套 Wiki 现在只是骨架。实体页、概念页、综述页、索引和日志跑通了,真实员工会不会用、知识冲突怎么裁决、权限和版权审计能自动化到什么程度,都还没有答案。五天能验证的是构建速度,验证不了组织采用。