<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>zzszmyf</title><link>https://doraemeng.dev/</link><description>LLM 推理优化与 AI Agent 技术笔记 | 孟一凡（zzszmyf），独立 AI 顾问，SGLang 上游贡献者</description><generator>Hugo</generator><language>zh-CN</language><copyright>© 2026 zzszmyf</copyright><atom:link href="https://doraemeng.dev/index.xml" rel="self" type="application/rss+xml"/><item><title>vLLM、SGLang、TensorRT-LLM 该怎么选？</title><link>https://doraemeng.dev/notes/vllm-sglang-tensorrt-llm%E6%80%8E%E4%B9%88%E9%80%89/</link><pubDate>Thu, 29 Oct 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/vllm-sglang-tensorrt-llm%E6%80%8E%E4%B9%88%E9%80%89/</guid><description>没有三引擎同机吞吐表。共享前缀高先看 SGLang 的 RadixAttention；量化格式和 PagedAttention 要广选 vLLM；NVIDIA 上把 FP8/INT4 kernel 做深选 TensorRT-LLM。同负载 tokens/s 标待实测。</description></item><item><title>企业 AI 落地该选 FP8 还是 FP4？量化格式的成本、质量与硬件决策</title><link>https://doraemeng.dev/notes/%E4%BC%81%E4%B8%9Aai%E8%90%BD%E5%9C%B0%E9%80%89fp8%E8%BF%98%E6%98%AFfp4-%E9%87%8F%E5%8C%96%E6%A0%BC%E5%BC%8F%E7%9A%84%E6%88%90%E6%9C%AC%E8%B4%A8%E9%87%8F%E4%B8%8E%E7%A1%AC%E4%BB%B6%E5%86%B3%E7%AD%96/</link><pubDate>Sat, 17 Oct 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E4%BC%81%E4%B8%9Aai%E8%90%BD%E5%9C%B0%E9%80%89fp8%E8%BF%98%E6%98%AFfp4-%E9%87%8F%E5%8C%96%E6%A0%BC%E5%BC%8F%E7%9A%84%E6%88%90%E6%9C%AC%E8%B4%A8%E9%87%8F%E4%B8%8E%E7%A1%AC%E4%BB%B6%E5%86%B3%E7%AD%96/</guid><description>一个 70B 客服系统的部署账：FP8 只动权重，KV cache 会把省下的显存吃回去；FP4 在 Blackwell 上吞吐更高，结构化输出的字段错误却能把 GPU 省下的钱赔回去。附 vLLM 参数、字段级验收和采购时要问的硬指标。</description></item><item><title>AWQ 和 GPTQ 有什么区别？4-bit 权重量化怎么选</title><link>https://doraemeng.dev/notes/awq%E5%92%8Cgptq%E6%9C%89%E4%BB%80%E4%B9%88%E5%8C%BA%E5%88%AB-4bit%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96%E6%80%8E%E4%B9%88%E9%80%89/</link><pubDate>Fri, 25 Sep 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/awq%E5%92%8Cgptq%E6%9C%89%E4%BB%80%E4%B9%88%E5%8C%BA%E5%88%AB-4bit%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96%E6%80%8E%E4%B9%88%E9%80%89/</guid><description>AWQ 和 GPTQ 都是 4-bit weight-only 量化，区别在怎么补偿误差：GPTQ 用 Hessian 二阶信息逐列校正权重，需要重建、小时级；AWQ 不改权重数值，只按激活幅度做 per-channel 缩放保护约 1% 的显著通道，无重建、分钟级。本文给出选型判据。</description></item><item><title>深入解读 Primus：面向大规模大语言模型的高性能训练框架</title><link>https://doraemeng.dev/notes/primus-llm-training-framework/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/primus-llm-training-framework/</guid><description>Primus 是 AMD 推出的大规模 LLM 统一训练框架，支持 Megatron-LM 与 TorchTitan 后端。深度解读其性能瓶颈（GEMM 与 FlashAttention 合计约占 94% 训练时间）、Primus-Turbo 集成 AITER 与 hipBLASLt 调优的收益，以及 7B/70B/405B 模型分别对应 DDP、FSDP2、TP+PP+VPP 的并行策略选择。</description></item><item><title>高维几何与集中不等式详解</title><link>https://doraemeng.dev/notes/high-dim-geometry-concentration/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/high-dim-geometry-concentration/</guid><description>高维几何为什么反直觉？1000 维球体 99.995% 的体积集中在表面 1% 薄层，随机向量几乎正交。系统讲解 Markov、Chebyshev、Hoeffding 等集中不等式，及其在 Johnson-Lindenstrauss 引理、QJL 内积估计与 PolarQuant 角度量化中的应用——TurboQuant 背后的数学基础。</description></item><item><title>百花齐放的 Diffusion-RL：技术路线综述</title><link>https://doraemeng.dev/notes/diffusion-rl-methods/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/diffusion-rl-methods/</guid><description>Diffusion RL 技术路线综述：将扩散模型与强化学习结合的方案归纳为四大类——MDP 套框架（DDPO、Flow-GRPO）、前向过程优化（AWM、DiffusionNFT）、CFGRL 与 Q 函数方法，并比较各方法的代价、适用边界，以及 DanceGRPO 等噪声强度不对齐问题的修正工作。</description></item><item><title>TurboQuant 学习路径：论文 → 技术 → 数学</title><link>https://doraemeng.dev/notes/turboquant-learning-path/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/turboquant-learning-path/</guid><description>TurboQuant 学习路径完整指南：按 PQ/OPQ、JL 变换、KIVI、QuaRot 到 TurboQuant 原文的顺序梳理必读论文，整理向量量化与随机投影所需的线性代数、概率论、信息论数学清单，并给出 7 周学习路线图和 Faiss、QuaRot、KIVI 等开源代码资源。</description></item><item><title>TurboQuant 数学原理解析</title><link>https://doraemeng.dev/notes/turboquant-math-principles/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/turboquant-math-principles/</guid><description>TurboQuant 数学原理推导：QJL 符号随机投影的无偏估计与方差界限、PolarQuant 递归极坐标量化如何免掉归一化开销，拆解「极坐标压缩 + 1-bit 残差修正」两阶段框架，说明 TurboQuant 为何能在 3-bit 下达到 FP32 精度并实现 6 倍 KV Cache 内存压缩。</description></item><item><title>Puppeteer MCP 与 Playwright MCP：深度对比与选择指南</title><link>https://doraemeng.dev/notes/puppeteer-vs-playwright-mcp/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/puppeteer-vs-playwright-mcp/</guid><description>Puppeteer MCP 与 Playwright MCP 深度对比：从浏览器支持、交互模式（DOM/CSS 选择器 vs 可访问性树快照）、性能证据、易用性到社区维护逐一分析。结论：只做 Chromium 自动化且求简单选 Puppeteer MCP，需要跨浏览器、多语言支持和长期可靠维护选 Playwright MCP。</description></item><item><title>MoE数据特征、训练和推理的通信特点、基于NVLink/Scale Up那些Feature，DeepSeek的DeepEP和对MoE All-to-All数据的处理</title><link>https://doraemeng.dev/notes/moe-nvlink-deepseek-deepep-communication/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/moe-nvlink-deepseek-deepep-communication/</guid><description>MoE All-to-All通信与NVLink优化解析：拆解专家并行下Token分发的Dispatch和Combine两阶段数据流，梳理训练与推理对带宽、延迟的不同要求，以及DeepSeek开源通信库DeepEP的高吞吐/低延迟Kernel设计；重点讲DeepSeek-V3无辅助损失负载均衡如何把长尾路由重塑成均匀分布，让NVLink链路跑满带宽。</description></item><item><title>Drifting Model vs Diffusion：复杂指令理解能力对比</title><link>https://doraemeng.dev/notes/drifting_vs_diffusion/</link><pubDate>Sun, 23 Aug 2026 17:25:14 +0800</pubDate><guid>https://doraemeng.dev/notes/drifting_vs_diffusion/</guid><description>Drifting Model 与 Diffusion 谁更懂复杂指令？从生成机制对比入手：Diffusion 的多步去噪相当于隐式推理缓冲，Drifting Model 一步生成则必须把全部推理内化进权重。结论：复杂 Prompt 样本稀疏导致漂移场不稳定，多物体、空间关系、否定句场景应选 Diffusion，简单概念则 Drifting Model 更快。</description></item><item><title>SGLang RadixAttention 原理是什么？前缀缓存怎么提升命中率</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-08-%E5%89%8D%E7%BC%80%E7%BC%93%E5%AD%98%E4%B8%8Ekv%E5%A4%8D%E7%94%A8/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-08-%E5%89%8D%E7%BC%80%E7%BC%93%E5%AD%98%E4%B8%8Ekv%E5%A4%8D%E7%94%A8/</guid><description>前缀缓存把「相同前缀、KV 用一次就扔」的浪费消掉。本文推导命中率 h 到 prefill 计算节省的收益模型，讲清 RadixAttention 的 radix tree、LRU leaves-first 驱逐与引用计数，排列 GPU→CPU→分布式→磁盘的 KV 存储层级，并解释 cache-aware routing 与 PD 分离。</description></item><item><title>注意力优化上线怎么验收？吞吐、显存与精度怎么测</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-07-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-07-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/</guid><description>把注意力优化拆成维度、内容、布局、内核四个层次，与「每步成本 × 步数 × 单步内部效率」三因子框架对应。本文给出长上下文系统的完整组件清单，区分精确与近似优化各自的验收方法，并手算一个量化 + GQA + 推测的端到端收益算例。</description></item><item><title>注意力内核怎么优化？算子融合、CUDA Graph 与 Triton</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E5%86%85%E6%A0%B8%E4%BC%98%E5%8C%96%E4%B8%8E%E7%AE%97%E5%AD%90%E8%9E%8D%E5%90%88/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E5%86%85%E6%A0%B8%E4%BC%98%E5%8C%96%E4%B8%8E%E7%AE%97%E5%AD%90%E8%9E%8D%E5%90%88/</guid><description>用算术强度 FLOPs/byte 判断一个 kernel 是计算受限还是带宽受限，说明 decode 与 prefill 分别落在 Roofline 的哪一侧。本文讲算子融合的三个层次、Tensor Core 与 FP8 对注意力的意义，对比 CUDA Graph / Triton / torch.compile 的适用场景。</description></item><item><title>PagedAttention 是怎么省下 KV Cache 显存的？</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-pagedattention%E4%B8%8Ekv%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-pagedattention%E4%B8%8Ekv%E6%98%BE%E5%AD%98%E7%AE%A1%E7%90%86/</guid><description>vLLM 论文实测显示，不做管理的 KV 显存有效利用率只有 20.4%–38.2%，浪费来自预留、内部碎片与外部碎片。本文讲清 PagedAttention 的逻辑块到物理块映射与 block table，辨析它与 FlashAttention 的关系，并解释 copy-on-write 如何让并行采样共享 KV。</description></item><item><title>稀疏注意力、滑动窗口和线性注意力怎么选</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-%E7%A8%80%E7%96%8F%E6%BB%91%E5%8A%A8%E7%AA%97%E5%8F%A3%E4%B8%8E%E7%BA%BF%E6%80%A7%E6%B3%A8%E6%84%8F%E5%8A%9B/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-%E7%A8%80%E7%96%8F%E6%BB%91%E5%8A%A8%E7%AA%97%E5%8F%A3%E4%B8%8E%E7%BA%BF%E6%80%A7%E6%B3%A8%E6%84%8F%E5%8A%9B/</guid><description>对抗 L² 复杂度有三条路线：少看位置、少存 KV、换计算范式。本文讲滑动窗口注意力的局部性假设与 StreamingLLM 的 attention sink 修复，推导线性注意力的结合律与 Performer 的核近似，辨析 Mamba 的选择性 SSM 与线性注意力的本质区别，并给出场景选择表。</description></item><item><title>MQA、GQA、MLA 有什么区别？KV Cache 该怎么省</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%A4%B4%E5%8F%98%E4%BD%93-mqa-gqa-mla/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%A4%B4%E5%8F%98%E4%BD%93-mqa-gqa-mla/</guid><description>三种注意力头变体回答的是同一个问题：每 token 缓存什么。本文给出各自的 KV 元素数公式，讲清 GQA 的 up-training 配方，推导 MLA 的低秩联合压缩并解释 RoPE 与低秩压缩的冲突及 decoupled RoPE 解法，最后手算 70B 与 DeepSeek-V2 的 KV 显存账本。</description></item><item><title>FlashAttention 原理是什么？为什么又省显存又快</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-flashattention-io%E6%84%9F%E7%9F%A5%E7%9A%84%E7%B2%BE%E7%A1%AE%E6%B3%A8%E6%84%8F%E5%8A%9B/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-flashattention-io%E6%84%9F%E7%9F%A5%E7%9A%84%E7%B2%BE%E7%A1%AE%E6%B3%A8%E6%84%8F%E5%8A%9B/</guid><description>朴素注意力快不起来的真正瓶颈是 HBM 读写而不是 FLOPs。本文讲清 FlashAttention 的三个核心技巧——tiling、online softmax、recompute，手算验证增量式 softmax 与整体一致，给出 IO 复杂度定理，并对比 FA1/FA2/FA3 的对 GPU 架构要求与实测数据。</description></item><item><title>注意力计算复杂度是怎么来的？prefill 和 decode 差在哪</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E5%9F%BA%E7%A1%80%E4%B8%8E%E5%A4%8D%E6%9D%82%E5%BA%A6%E5%88%86%E6%9E%90/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E5%9F%BA%E7%A1%80%E4%B8%8E%E5%A4%8D%E6%9D%82%E5%BA%A6%E5%88%86%E6%9E%90/</guid><description>推导缩放点积注意力的 FLOPs 公式 4L²d 并说明为什么它与头数无关，用 L/(2d) 判据判断多长的上下文注意力会反超 FFN，推导 KV cache 显存公式并手算 7B 模型 128K 上下文的占用，区分计算密集的 prefill 与访存密集的 decode。</description></item><item><title>LLM 注意力与计算内核：8 篇精读笔记总览</title><link>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%86%85%E6%A0%B8%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</guid><description>继量化与推测解码之后的第三部推理优化精读，进入单步前向内部：注意力复杂度、FlashAttention、MQA/GQA/MLA、稀疏与线性注意力、PagedAttention、算子融合、生产验收与 RadixAttention 前缀缓存。</description></item><item><title>推测解码上线怎么验收？接受率与加速比怎么测</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E7%B3%BB%E7%BB%9F%E9%9B%86%E6%88%90%E4%B8%8E%E7%94%9F%E4%BA%A7%E9%AA%8C%E6%94%B6/</guid><description>用「每步成本 × 步数」的双因子模型解释量化和推测叠加时收益为什么会被稀释，拆解 TTFT 与 TPS 各自吃哪类优化，给出一份包含无损性验证、质量评测、性能指标与组合矩阵的生产验收协议，并列出集成时最常见的坑。</description></item><item><title>n-gram 投机采样怎么做？不用草稿模型的加速方案</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-n-gram%E6%A3%80%E7%B4%A2%E5%BC%8F%E4%B8%8E%E6%97%A0%E6%A8%A1%E5%9E%8B%E8%B7%AF%E7%BA%BF/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-n-gram%E6%A3%80%E7%B4%A2%E5%BC%8F%E4%B8%8E%E6%97%A0%E6%A8%A1%E5%9E%8B%E8%B7%AF%E7%BA%BF/</guid><description>Prompt Lookup、Lookahead Decoding、REST 都不训练草稿模型，而是从 n-gram 或检索库里取候选，再交给目标模型并行验证。本文比较三种「记忆来源」的差异，解释 Lookahead 为什么能把 Jacobi 迭代救活，以及这类方法在什么任务上才真的赢。</description></item><item><title>EAGLE 推测解码为什么比 Medusa 快？（含 EAGLE-2 动态草稿树）</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-eagle-%E7%89%B9%E5%BE%81%E7%A9%BA%E9%97%B4%E8%8D%89%E7%A8%BF/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-eagle-%E7%89%B9%E5%BE%81%E7%A9%BA%E9%97%B4%E8%8D%89%E7%A8%BF/</guid><description>Medusa 在 token 层做自回归，每次采样都会引入新的歧义；EAGLE 把草稿搬到特征层，用 shifted-token 输入消除分支歧义，因此接受率更高。本文给出草稿模型结构与训练损失，证明每轮首个草稿 token 接受概率恒为 1，并讲清 EAGLE-2 的动态草稿树。</description></item><item><title>Medusa 是什么？多头解码为什么能加速 LLM 推理</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-medusa-%E5%A4%9A%E5%A4%B4%E8%A7%A3%E7%A0%81/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-medusa-%E5%A4%9A%E5%A4%B4%E8%A7%A3%E7%A0%81/</guid><description>Medusa 在模型上挂多个解码头，一次预测多个后续位置，再用树注意力并行验证候选路径。本文写出 head 结构与树掩码规则，用覆盖率模型推导期望接受长度，说明典型验收与拒绝采样的区别，以及树大小为什么存在最优值。</description></item><item><title>投机采样原理是什么？草稿模型与拒绝采样怎么配合</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-%E5%8E%9F%E5%A7%8B%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81-%E8%8D%89%E7%A8%BF%E6%A8%A1%E5%9E%8B%E4%B8%8E%E6%8B%92%E7%BB%9D%E9%87%87%E6%A0%B7/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-%E5%8E%9F%E5%A7%8B%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81-%E8%8D%89%E7%A8%BF%E6%A8%A1%E5%9E%8B%E4%B8%8E%E6%8B%92%E7%BB%9D%E9%87%87%E6%A0%B7/</guid><description>完整写出投机采样算法：小模型草稿 K 个 token，大模型一次前向并行验证，再用拒绝采样做修正。本文证明无损性定理（输出分布严格等于目标分布，且与草稿质量无关），推导最优草稿长度 K*，并列出工程实现里最容易破坏无损性的几个坑。</description></item><item><title>投机采样为什么是无损的？接受率与期望 token 公式推导</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E9%97%AE%E9%A2%98%E5%BD%A2%E5%BC%8F%E5%8C%96%E4%B8%8E%E6%8E%A5%E5%8F%97%E7%8E%87%E6%95%B0%E5%AD%A6/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E9%97%AE%E9%A2%98%E5%BD%A2%E5%BC%8F%E5%8C%96%E4%B8%8E%E6%8E%A5%E5%8F%97%E7%8E%87%E6%95%B0%E5%AD%A6/</guid><description>自回归解码慢的结构性原因是因果依赖浪费了 GPU 并行能力，「草稿 + 并行验证」正好把它补回来。本文从定义推导期望接受 token 数 E[N]=(1-α^(K+1))/(1-α) 与墙钟加速比公式，并解释拒绝采样后输出分布为何依然无损。</description></item><item><title>投机采样与推测解码：6 篇精读笔记总览</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E6%B5%8B%E8%A7%A3%E7%A0%81%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</guid><description>量化是「有损换速度」，推测解码是「无损提速度」，两者是 LLM 推理优化互补的两条主线。这份总览给出 6 篇精读笔记的阅读顺序、每章要点与配套论文，帮你建立完整的推理加速决策框架。</description></item><item><title>量化模型怎么部署到 vLLM？QServe 与 FP8 Attention 实践</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-11-%E7%B3%BB%E7%BB%9F%E5%8D%8F%E5%90%8C%E4%B8%8E%E9%83%A8%E7%BD%B2/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-11-%E7%B3%BB%E7%BB%9F%E5%8D%8F%E5%90%8C%E4%B8%8E%E9%83%A8%E7%BD%B2/</guid><description>量化算法好不等于端到端快，反量化、内存布局和 kernel 实现会吃掉大部分收益。本文讲 QServe 的 W4A8KV4 协同设计为什么是 W4A8，给出 vLLM / TensorRT-LLM / llama.cpp 的量化支持地图，并给出一份部署决策树。</description></item><item><title>量化后精度掉了怎么定位？perplexity 与评测怎么用</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-10-%E8%B4%A8%E9%87%8F%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95%E8%AE%BA/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-10-%E8%B4%A8%E9%87%8F%E8%AF%84%E4%BC%B0%E6%96%B9%E6%B3%95%E8%AE%BA/</guid><description>只跑一个 perplexity 数字不足以判断量化能不能上线。本文给出「困惑度 → 智能基准 → 自定义评测」的三层验收协议，解释「与噪声不可区分」如何操作化成多次运行与配对比较，并列出量化评测最容易踩的坑。</description></item><item><title>QAT 什么时候才值得做？PTQ、QLoRA、BitNet 路线对比</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-09-qat%E4%B8%8E%E8%AE%AD%E7%BB%83%E5%86%85%E9%87%8F%E5%8C%96-ste-qlora-bitnet/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-09-qat%E4%B8%8E%E8%AE%AD%E7%BB%83%E5%86%85%E9%87%8F%E5%8C%96-ste-qlora-bitnet/</guid><description>量化函数不可导，STE 用直通估计器把梯度放过去。本文手推一个完整的反向传播例子，讲清 QLoRA 的 NF4、双重量化与 paged optimizer，解释 BitNet b1.58 的三值化设计，并对比 PTQ/QAT/QLoRA/BitNet 四条路线各自适用什么场景。</description></item><item><title>KV Cache 量化怎么做？KIVI 与「量化还是压缩」的区别</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-08-kv-cache%E9%87%8F%E5%8C%96%E4%B8%8Ekivi/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-08-kv-cache%E9%87%8F%E5%8C%96%E4%B8%8Ekivi/</guid><description>KV Cache 是长上下文推理的显存大头，而 KV 量化误差会逐 token 累积。本文手算 KV 显存公式，讲 KIVI 的两个核心洞察（Key 按通道量化、Value 按 token 量化）与非对称 2-bit 流式量化实现，并辨析 KV 量化与 KV 压缩的区别。</description></item><item><title>激活量化为什么比权重量化难？LLM.int8() 与 SmoothQuant 原理</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-07-%E6%BF%80%E6%B4%BB%E9%87%8F%E5%8C%96-llm-int8%E4%B8%8Esmoothquant/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-07-%E6%BF%80%E6%B4%BB%E9%87%8F%E5%8C%96-llm-int8%E4%B8%8Esmoothquant/</guid><description>权重是静态的，激活是动态的还会出现极大的离群值，所以 W8A8 比 weight-only 难得多。本文讲 LLM.int8() 的向量级量化与混合精度分解、SmoothQuant 的等效变换与 s_j 公式推导，以及缩放折叠为什么让 W8A8 零运行时开销。</description></item><item><title>AWQ 量化原理是什么？和 GPTQ、SqueezeLLM 怎么选</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96ii-awq-squeezellm-quip/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-06-%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96ii-awq-squeezellm-quip/</guid><description>AWQ 的核心观察是只有约 1% 的权重显著，而且要看激活幅度而不是权重幅度，再通过逐通道缩放把误差压下去。本文推导缩放减误差公式，对比 AWQ、GPTQ、SqueezeLLM、QuIP# 的无重建与二阶补偿取舍。</description></item><item><title>RTN 和 GPTQ 有什么区别？权重量化方法怎么选</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96i-rtn%E4%B8%8Egptq/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-05-%E6%9D%83%E9%87%8D%E9%87%8F%E5%8C%96i-rtn%E4%B8%8Egptq/</guid><description>RTN 直接四舍五入，实现最简单但 4-bit 下误差明显；GPTQ 把目标从「最小化逐元素误差」升级为「最小化层输出误差」，用 OBS/OBQ 的二阶补偿逐列校正。本文完整推导补偿公式并手算一个 2×2 例子。</description></item><item><title>量化粒度怎么选？为什么离群值会让 INT8 精度崩掉</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-%E9%87%8F%E5%8C%96%E7%B2%92%E5%BA%A6%E6%A0%A1%E5%87%86%E4%B8%8E%E7%A6%BB%E7%BE%A4%E5%80%BC/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-04-%E9%87%8F%E5%8C%96%E7%B2%92%E5%BA%A6%E6%A0%A1%E5%87%86%E4%B8%8E%E7%A6%BB%E7%BE%A4%E5%80%BC/</guid><description>per-tensor、per-channel、per-group 的有效位宽和存储开销差多少？校准集怎么选、统计量用 min/max 还是分位数？本文用 LLM.int8() 的离群值统计说明 INT8 什么情况下会崩，并给出粒度、校准、outlier 的决策表。</description></item><item><title>FP16、BF16、FP8、FP4 有什么区别？该选哪种数值格式</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-%E6%95%B0%E5%80%BC%E6%A0%BC%E5%BC%8F%E4%B8%8E%E7%A1%AC%E4%BB%B6/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-03-%E6%95%B0%E5%80%BC%E6%A0%BC%E5%BC%8F%E4%B8%8E%E7%A1%AC%E4%BB%B6/</guid><description>从位布局推导 FP16/BF16/FP8（E4M3、E5M2）/FP4/MXFP8/NVFP4 的动态范围与精度，说明 E4M3 和 E5M2 各自适合什么场景、块缩放到底解决了什么问题，并用带宽模型手算 70B 模型 decode 每 token 的最少耗时。</description></item><item><title>量化误差是怎么算出来的？均匀量化公式推导</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-%E9%87%8F%E5%8C%96%E9%97%AE%E9%A2%98%E5%BD%A2%E5%BC%8F%E5%8C%96%E4%B8%8E%E5%9D%87%E5%8C%80%E9%87%8F%E5%8C%96%E7%90%86%E8%AE%BA/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-02-%E9%87%8F%E5%8C%96%E9%97%AE%E9%A2%98%E5%BD%A2%E5%BC%8F%E5%8C%96%E4%B8%8E%E5%9D%87%E5%8C%80%E9%87%8F%E5%8C%96%E7%90%86%E8%AE%BA/</guid><description>把任意量化方法拆成编码器、解码器、误差三部分，推导对称与非对称均匀量化的正向与反向公式，解释「位宽每减 1、SNR 涨约 6 dB」，并说明为什么范围利用率是量化的第一性原理。</description></item><item><title>INT8 和 FP16 有什么区别？量化前的数值编码基础</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E6%95%B0%E5%80%BC%E7%BC%96%E7%A0%81%E4%B8%8E%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A1%A8%E7%A4%BA%E5%9F%BA%E7%A1%80/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-01-%E6%95%B0%E5%80%BC%E7%BC%96%E7%A0%81%E4%B8%8E%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A1%A8%E7%A4%BA%E5%9F%BA%E7%A1%80/</guid><description>量化的本质是决定一个数用多少 bit、以什么格式表示。本文从信息论、整数补码、IEEE 754 浮点位布局讲到六种舍入模式，解释量化为什么用 round-half-even，以及截断噪声为什么是舍入的 4 倍。</description></item><item><title>LLM 量化从入门到部署：11 篇精读笔记总览</title><link>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E9%87%8F%E5%8C%96%E7%B2%BE%E8%AF%BB%E7%AC%94%E8%AE%B0-00-%E6%80%BB%E8%A7%88%E4%B8%8E%E5%AD%A6%E4%B9%A0%E5%9C%B0%E5%9B%BE/</guid><description>LLM 量化完整学习地图：从信息论与数值编码、均匀量化误差公式，到 RTN/GPTQ/AWQ、SmoothQuant、KV Cache 量化，再到 QServe 与 vLLM 部署验收，11 篇精读笔记的阅读顺序与每章要点速览。</description></item><item><title>LLM 推理优化 · 量化（Quantization）系统学习笔记</title><link>https://doraemeng.dev/notes/llm%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96-quantization%E9%87%8F%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/</link><pubDate>Mon, 17 Aug 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/llm%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96-quantization%E9%87%8F%E5%8C%96%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/</guid><description>LLM 量化（Quantization）系统学习笔记：从 FP8/FP4 数字格式、量化粒度与敏感性排序，到 GPTQ、AWQ、SmoothQuant、KIVI、BitNet 方法谱系。生产默认配方：W8A8 FP8 是甜点、KV cache 谨慎量化、attention 保持高精度，附质量评估三板斧与 MIT 6.5940 课程清单。</description></item><item><title>AI Coding 的供给侧爆炸：需求侧何时跟上？</title><link>https://doraemeng.dev/notes/ai-coding-supply-demand-explosion/</link><pubDate>Fri, 15 May 2026 10:40:00 +0800</pubDate><guid>https://doraemeng.dev/notes/ai-coding-supply-demand-explosion/</guid><description>AI Coding 让代码供给爆炸后需求侧如何跟上？分析需求侧爆炸的五条路径：需求民主化、软件流体化、长尾领域软件化、测试安全等次生需求、价值向定义问题转移，并给出程序员的三条转型路径与三个创业方向判断。</description></item><item><title>拖拽式简历编辑器：画布与拖拽技术选型指南</title><link>https://doraemeng.dev/notes/drag-drop-canvas-resume-builder/</link><pubDate>Wed, 13 May 2026 10:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/drag-drop-canvas-resume-builder/</guid><description>React 拖拽简历编辑器技术选型：模板填充场景用 dnd-kit，自由排版场景用 tldraw 或 Fabric.js，含 Fabric.js 无限画布平移缩放的代码示例与两种产品形态对比，帮你按「拖、排、编」需求选对画布与拖拽方案。</description></item><item><title>我们需要的不是钱，需要的是财富</title><link>https://doraemeng.dev/notes/money-is-not-wealth/</link><pubDate>Sun, 10 May 2026 21:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/money-is-not-wealth/</guid><description>钱和财富的区别：钱只是价值的度量单位和流通工具，会因通胀贬值；财富是能持续创造价值、自生长的资产。用这个视角重新理解指数基金、主动基金和个股投资——本质都是把现在的钱换成未来能创造更多财富的企业所有权，把目标从「赚钱」切换为「积累财富」。</description></item><item><title>Procfile、Nixpacks 与 Shebang：三个部署/脚本小知识</title><link>https://doraemeng.dev/notes/procfile-nixpacks-shebang-notes/</link><pubDate>Fri, 08 May 2026 17:21:00 +0800</pubDate><guid>https://doraemeng.dev/notes/procfile-nixpacks-shebang-notes/</guid><description>Procfile、nixpacks.toml 与 Shebang 三个部署/脚本知识点速查：Procfile 声明 PaaS 平台运行时要启动的进程，nixpacks.toml 配置源码到容器镜像的构建流程，Shebang 指定脚本解释器（推荐 #!/usr/bin/env 写法）。并说明 Heroku、Railway、Render、Dokku、Fly.io、Vercel 的平台差异，附 FastAPI 部署示例。</description></item><item><title>推荐系统中的 Hash 与位运算技巧：从 CityHash 到 Feature Hashing</title><link>https://doraemeng.dev/notes/hash-bitwise-techniques-summary/</link><pubDate>Fri, 08 May 2026 15:15:00 +0800</pubDate><guid>https://doraemeng.dev/notes/hash-bitwise-techniques-summary/</guid><description>推荐系统在线特征服务中的 Hash 与位运算技巧全梳理：CityHash64 选型、GEN_HASH2 特征交叉、x&amp;(2^n-1) 快速取模、位标志与 UTF-8 位拆分，附 C++ 实战代码与 Feature Hashing 原理。重写选型结论：Rust 是 C++ 在线层最佳继任者，Zig 和 Python 都不适合。</description></item><item><title>vLLM GPU 利用率持续 100% 排查记：一个 max_tokens 参数引发的性能陷阱</title><link>https://doraemeng.dev/notes/vllm-gpu-100-percent-max-tokens-trap/</link><pubDate>Fri, 08 May 2026 15:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/vllm-gpu-100-percent-max-tokens-trap/</guid><description>vLLM GPU 利用率持续 100% 排查实录：根因是 client 不传 max_tokens 时，vLLM 默认允许生成到 max_model_len（约 13 万 token），请求在 decode 阶段无法停止而独占 GPU。附 vLLM 源码级分析与修复方案：显式设置 max_tokens、服务端 --max_tokens 兜底、保留 encoder 缓存。</description></item><item><title>React 组件库选型指南：Ant Design vs Material UI 及其他</title><link>https://doraemeng.dev/notes/react-component-libraries-guide/</link><pubDate>Fri, 08 May 2026 10:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/react-component-libraries-guide/</guid><description>React 组件库选型指南：对比 Ant Design 与 Material UI 的设计风格、组件丰富度、定制灵活性与适用场景（B 端中后台选 AntD，C 端产品选 MUI），并按定位推荐更多选项——轻量原子化的 Shadcn UI、Radix，设计感强的 Mantine、HeroUI，大厂企业级的 Arco Design、TDesign 等。</description></item><item><title>用 kimi-cli 实现自动 Issue → Worktree → TDD → PR 的无人值守流水线</title><link>https://doraemeng.dev/notes/kimi-cli-auto-issue-pipeline/</link><pubDate>Tue, 05 May 2026 14:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/kimi-cli-auto-issue-pipeline/</guid><description>kimi-cli 搭建无人值守的 GitHub issue 自动修复流水线：一条 prompt 走完 issue → git worktree → TDD → PR 全流程，配合 --print --yolo、cron 定时触发和 subagent 并行批量处理 bug。附 loop_control 关键配置（max_ralph_iterations=-1 无限循环）与前置条件检查清单。</description></item><item><title>绩效评级看 Impact，晋升看 Behavior：职场晋升的隐藏规则</title><link>https://doraemeng.dev/notes/%E7%BB%A9%E6%95%88%E8%AF%84%E7%BA%A7%E4%B8%8E%E6%99%8B%E5%8D%87%E7%9A%84%E5%8F%8C%E8%BD%A8%E8%AF%84%E4%BC%B0%E9%80%BB%E8%BE%91/</link><pubDate>Tue, 05 May 2026 10:16:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E7%BB%A9%E6%95%88%E8%AF%84%E7%BA%A7%E4%B8%8E%E6%99%8B%E5%8D%87%E7%9A%84%E5%8F%8C%E8%BD%A8%E8%AF%84%E4%BC%B0%E9%80%BB%E8%BE%91/</guid><description>绩效评级与晋升的区别：为什么 Impact 决定 rating、Behavior 决定 promotion？用两个典型场景拆解科技公司绩效管理的双轨逻辑——rating 是过去时、promotion 是将来时，并给出写自评述职和评审他人时的实操建议：干得多决定拿多少钱，干得像决定坐什么位置。</description></item><item><title>五一假期，我花了3.5亿Token，从零写了一套企业LLM WiKi</title><link>https://doraemeng.dev/notes/%E4%BA%94%E4%B8%80%E5%81%87%E6%9C%9F%E4%BB%8E%E9%9B%B6%E5%86%99%E4%BC%81%E4%B8%9Allm-wiki/</link><pubDate>Tue, 05 May 2026 08:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E4%BA%94%E4%B8%80%E5%81%87%E6%9C%9F%E4%BB%8E%E9%9B%B6%E5%86%99%E4%BC%81%E4%B8%9Allm-wiki/</guid><description>Claude Code AI编程实战：五天烧掉3.5亿Token（约1.3万元），一行代码没手写，从零搭出一套企业级LLM Wiki知识库系统——15份设计文档、8个微服务、50租户压测和蓝队渗透全部跑通。实践Karpathy「AI自维护Wiki」取代RAG的范式，结论是AI时代最稀缺的是判断力。</description></item><item><title>塔勒布思想系列（6）：为什么我们听过很多道理，却依然过不好这一生？</title><link>https://doraemeng.dev/notes/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%88%91%E4%BB%AC%E5%90%AC%E8%BF%87%E5%BE%88%E5%A4%9A%E9%81%93%E7%90%86%E5%8D%B4%E4%BE%9D%E7%84%B6%E8%BF%87%E4%B8%8D%E5%A5%BD%E8%BF%99%E4%B8%80%E7%94%9F/</link><pubDate>Mon, 27 Apr 2026 08:38:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%88%91%E4%BB%AC%E5%90%AC%E8%BF%87%E5%BE%88%E5%A4%9A%E9%81%93%E7%90%86%E5%8D%B4%E4%BE%9D%E7%84%B6%E8%BF%87%E4%B8%8D%E5%A5%BD%E8%BF%99%E4%B8%80%E7%94%9F/</guid><description>为什么听过很多道理依然过不好这一生？塔勒布《非对称风险》给出的答案是：大多数道理是没押过注的人生产的，只经过修辞打磨、没经过现实筛选。Skin in the Game（风险共担）是最可靠的认知过滤器——听到建议先问：说的人自己做了吗，承担了什么后果？</description></item><item><title>工具型还是生命型：软件是该稳定一致，还是该成长变化</title><link>https://doraemeng.dev/notes/living-software-%E5%B7%A5%E5%85%B7%E5%9E%8B%E4%B8%8E%E7%94%9F%E5%91%BD%E5%9E%8B/</link><pubDate>Mon, 27 Apr 2026 08:30:00 +0800</pubDate><guid>https://doraemeng.dev/notes/living-software-%E5%B7%A5%E5%85%B7%E5%9E%8B%E4%B8%8E%E7%94%9F%E5%91%BD%E5%9E%8B/</guid><description>工具型软件与有生命的软件：为什么 Figma 硬塞 AI 功能让人反感，AI 助手天天进化却让人期待？Every 编辑 Jack Cheng《Living Software》译文解读：工具要稳定一致，生命型软件要陪用户成长，并给出控制发布节奏、提前沟通更新、保留用户选择权、加固质量四条产品建议。</description></item><item><title>全员 token-maxxing，一场没人敢停的军备竞赛</title><link>https://doraemeng.dev/notes/%E5%85%A8%E5%91%98-token-maxxing-%E5%86%9B%E5%A4%87%E7%AB%9E%E8%B5%9B/</link><pubDate>Mon, 27 Apr 2026 08:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E5%85%A8%E5%91%98-token-maxxing-%E5%86%9B%E5%A4%87%E7%AB%9E%E8%B5%9B/</guid><description>硅谷 AI 行业一线观察：YC W26 约 80% 项目是垂直 agent，Meta 全员用 Claude Code 卷 token 消耗排行榜，xAI 早期团队流失 90%，AI 公司估值随 DCF 失效而崩塌——垂直 agent 仅约 5 倍 ARR、模型公司 20-30 倍，唯一确定的赢家是英伟达。</description></item><item><title>Claude Code Agent Teams 运行机制深度分析</title><link>https://doraemeng.dev/notes/claude-code-agent-teams-deep-dive/</link><pubDate>Sun, 08 Mar 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/claude-code-agent-teams-deep-dive/</guid><description>Claude Code Agent Teams 深度解析：多智能体协作框架与 Subagent 的区别对比，Leader/Teammate 角色、TaskList 与 Mailbox 通信机制、工具链与团队生命周期，并用代码审查案例演示多个 Agent 并行协作的实际运行流程。</description></item><item><title>From 10% to 96%: Qwen2.5-0.5B 文本分类微调实践</title><link>https://doraemeng.dev/notes/qwen2.5-0.5b-text-classification-finetuning/</link><pubDate>Fri, 27 Feb 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/qwen2.5-0.5b-text-classification-finetuning/</guid><description>Qwen2.5-0.5B 文本分类微调实践：基于 llama.cpp 做 CPU 部署（延迟约 300ms/请求），通过在 prompt+answer 上计算 loss、加 warmup 与 weight decay、混入 20% DeepSeek-R1 蒸馏数据，将分类准确率从 10.59% 提升至 95.61%。实验还发现小模型对训练技巧的敏感度明显高于 3B 模型。</description></item><item><title>《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记</title><link>https://doraemeng.dev/notes/kimi-k2-5-visual-agentic-intelligence/</link><pubDate>Fri, 27 Feb 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/kimi-k2-5-visual-agentic-intelligence/</guid><description>Kimi K2.5 技术报告解读：开源多模态 Agent 模型的两大突破——文本视觉联合优化（Zero-vision SFT、Joint RL）与 Agent Swarm 并行编排（PARL 解耦训练），延迟降低 4.5 倍、Item-level F1 提升至 79.0%。Toggle 策略让输出 Token 减少 25~30% 且性能几乎无损。</description></item><item><title>VC-FCST Benchmark 落地方案：Code Agent 标准化测评</title><link>https://doraemeng.dev/notes/vc-fcst-benchmark/</link><pubDate>Tue, 24 Feb 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/vc-fcst-benchmark/</guid><description>VC-FCST Benchmark：基于失效分类学的 AI Code Agent 专项能力诊断测评方案，与 SWE-bench 的本质区别在于单 Case 单失效点、可精准定位失效根因。包含 2500 个标准化 Case 的用例库、DeepSeek 双模型编排引擎与 Streamlit 排行榜，1 名全栈工程师 3 个月，2500 元为目标预算、2878 元为当前明细基线。</description></item><item><title>进一步推进 MuP：从 Muon 到 SSO</title><link>https://doraemeng.dev/notes/sso-spectral-sphere-optimization/</link><pubDate>Sun, 22 Feb 2026 17:18:00 +0800</pubDate><guid>https://doraemeng.dev/notes/sso-spectral-sphere-optimization/</guid><description>SSO（谱球面优化器）原理解读：在 Muon 只约束参数更新量谱范数的基础上，进一步约束权重矩阵谱范数，完整满足 MuP 的两个 feature learning 条件。实验显示参数量变化 25 倍时最优学习率保持不变，且 loss 下降更快、参数可迁移性更好、MoE 路由负载更均衡。</description></item><item><title>从各家技术文章看26年Agentic RL Infra优化方向</title><link>https://doraemeng.dev/notes/agentic-rl-infra-optimization-2026/</link><pubDate>Sat, 21 Feb 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/agentic-rl-infra-optimization-2026/</guid><description>Agentic RL Infra 优化方向综述：解读 Minimax ForgeRL、ROLL、ThunderAgent、Kimi Seer 四篇大厂技术文章，归纳 AgentServer 抽象、滑动窗口调度、Prefix Tree Merging、推理加速等五大优化方向，附各系统核心贡献对比。</description></item><item><title>随便聊聊OpenClaw记忆系统</title><link>https://doraemeng.dev/notes/openclaw-memory-system/</link><pubDate>Fri, 13 Feb 2026 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/openclaw-memory-system/</guid><description>OpenClaw记忆系统解析：不用向量数据库，用纯Markdown文件做AI Agent的长期记忆——MEMORY.md、按天日志、会话归档三层文件各有加载策略和安全边界；写入由Prompt原则引导智能体自主决策而非固定规则，配合预压缩记忆刷新和向量+BM25混合检索的memory_search工具。</description></item><item><title>这个博客是怎么做的：Hugo + Congo 完整技术拆解</title><link>https://doraemeng.dev/notes/how-this-blog-is-built/</link><pubDate>Sat, 25 Jan 2025 10:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/how-this-blog-is-built/</guid><description>Hugo + Congo 搭建个人技术博客完整教程：主题选型、KaTeX 数学公式本地化、暗色模式配置、Cloudflare Pages 免费部署与自定义域名绑定。70 篇技术文章、200 多个页面构建仅需约 2 秒，首年成本约 70 元域名费，全程不写前端代码，适合想专注写作的研究员和工程师。</description></item><item><title>Online Softmax 的数学：从代数推导到信息几何</title><link>https://doraemeng.dev/notes/online-softmax-information-geometry/</link><pubDate>Mon, 20 Jan 2025 10:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/online-softmax-information-geometry/</guid><description>Online Softmax推导：FlashAttention分块计算的核心数学——不存储完整N×N注意力矩阵，只靠局部最大值m和指数和d两个统计量递推合并出全局Softmax，结果与传统 Softmax 精确一致，差异只来自浮点舍入。附Python验证，并从信息几何视角解释rescaling本质是概率单纯形上沿测地线的平行移动。</description></item><item><title>逻辑回归权重更新：从交叉熵到梯度下降的完整推导</title><link>https://doraemeng.dev/notes/logistic-regression-gradient-descent/</link><pubDate>Wed, 15 Jan 2025 10:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/logistic-regression-gradient-descent/</guid><description>逻辑回归梯度下降推导：从Sigmoid函数和交叉熵损失出发，用链式法则完整推出权重更新公式，解释梯度为何能简化为（预测概率−真实标签）×输入特征；对比批量、随机、小批量三种更新方式，附NumPy从零实现和数值梯度验证，测试集准确率95.5%。</description></item><item><title>效率狂魔的自白：语音输入让我写作速度翻倍</title><link>https://doraemeng.dev/notes/voice-input-writing-workflow/</link><pubDate>Mon, 16 Dec 2024 06:34:00 +0800</pubDate><guid>https://doraemeng.dev/notes/voice-input-writing-workflow/</guid><description>语音输入写作工作流实战：用讯飞听见录音转写，再用 DeepSeek 大模型按提示词和自定义词表润色，词性标注解决财经术语与同音词歧义，并用 Windsurf 搭建整合界面。1500 字稿件从录音到配图排版半小时内完成，写作速度翻倍。</description></item><item><title>【万字硬核】微软 &amp; NVIDIA 联合巨作《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B》全方位技术解析</title><link>https://doraemeng.dev/notes/mt-nlg-530b-deep-dive/</link><pubDate>Tue, 09 Apr 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/mt-nlg-530b-deep-dive/</guid><description>MT-NLG 530B训练论文精读：微软与NVIDIA如何用DeepSpeed的ZeRO和流水线并行叠加Megatron-LM的张量并行，构建3D并行体系，在560台DGX A100（4480张GPU）上训练5300亿参数的单体稠密模型。逐段拆解显存墙突破、混合精度数值稳定性、TB级语料数据清洗流水线与模型评估结论。</description></item><item><title>LoRA 微调全流程实战——用 12 条数据、4 秒钟，把 Gemma 2B 训成特朗普</title><link>https://doraemeng.dev/notes/lora-gemma2b-trump-finetuning/</link><pubDate>Sun, 07 Apr 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/lora-gemma2b-trump-finetuning/</guid><description>LoRA微调Gemma 2B实战教程：单张RTX 3090/4090（约14GB显存），用HuggingFace TRL+PEFT和仅12条特朗普风格问答数据，训练18步耗时3.9秒、loss从4.19降到0.99，可训练参数只占0.78%。覆盖环境搭建、数据构造、LoRA配置、训练推理到多卡踩坑的完整流程。</description></item><item><title>完整技术栈推荐</title><link>https://doraemeng.dev/notes/%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E6%A0%88%E6%8E%A8%E8%8D%90/</link><pubDate>Sun, 24 Mar 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E5%AE%8C%E6%95%B4%E6%8A%80%E6%9C%AF%E6%A0%88%E6%8E%A8%E8%8D%90/</guid><description>个人博客与独立顾问的技术栈怎么选？按用户在国内还是海外给出四套方案：国内静态（阿里云 OSS）、国内全栈、Cloudflare 全栈、混合部署，并给出域名、静态托管、Serverless 函数、数据库的年账单与取舍。推荐起步用 Cloudflare 全栈，全年成本仅 ¥70。</description></item><item><title>后端部署方案对比（非静态网站）</title><link>https://doraemeng.dev/notes/%E5%90%8E%E7%AB%AF%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E5%AF%B9%E6%AF%94/</link><pubDate>Sat, 23 Mar 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E5%90%8E%E7%AB%AF%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E5%AF%B9%E6%AF%94/</guid><description>后端部署方案怎么选？先判断你是否真需要后端——评论、表单、订阅、搜索都有免后端的静态替代。再对比 Cloudflare Pages + Workers、Vercel、Supabase 三套 Serverless 方案与 VPS、PaaS 的成本和适用场景，并按博客起步、咨询增长、产品化三个阶段给出选型路径。</description></item><item><title>Cloudflare 部署方案详解</title><link>https://doraemeng.dev/notes/cloudflare%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E8%AF%A6%E8%A7%A3/</link><pubDate>Fri, 22 Mar 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/cloudflare%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E8%AF%A6%E8%A7%A3/</guid><description>Cloudflare Pages 部署教程：用 Cloudflare 一站式搞定域名注册、DNS 解析、静态网站托管与 CDN 加速，对比 Vercel 的运行时与免费额度，并说明国内访问、备案和构建次数的实际边界。</description></item><item><title>海外域名提供商对比（.com）</title><link>https://doraemeng.dev/notes/%E6%B5%B7%E5%A4%96%E5%9F%9F%E5%90%8D%E6%8F%90%E4%BE%9B%E5%95%86%E5%AF%B9%E6%AF%94/</link><pubDate>Thu, 21 Mar 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E6%B5%B7%E5%A4%96%E5%9F%9F%E5%90%8D%E6%8F%90%E4%BE%9B%E5%95%86%E5%AF%B9%E6%AF%94/</guid><description>海外域名注册商怎么选？对比 Cloudflare、Namecheap、Porkbun、GoDaddy 等 8 家 .com 注册商的首年与续费价格、隐私保护和支付门槛：Cloudflare $9.77/年不涨价最便宜，Namecheap 稳定省心是首选，Porkbun 极简不推销，GoDaddy 首年便宜但续费 $18+ 堪称刺客。</description></item><item><title>域名购买与部署方案对比</title><link>https://doraemeng.dev/notes/%E5%9F%9F%E5%90%8D%E8%B4%AD%E4%B9%B0%E4%B8%8E%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E5%AF%B9%E6%AF%94/</link><pubDate>Wed, 20 Mar 2024 00:00:00 +0800</pubDate><guid>https://doraemeng.dev/notes/%E5%9F%9F%E5%90%8D%E8%B4%AD%E4%B9%B0%E4%B8%8E%E9%83%A8%E7%BD%B2%E6%96%B9%E6%A1%88%E5%AF%B9%E6%AF%94/</guid><description>域名购买渠道与静态网站部署方案对比：阿里云、腾讯云、Cloudflare、Namecheap 的价格与优劣，Vercel、Netlify、GitHub Pages、Cloudflare Pages、阿里云 OSS+CDN 的国内访问速度与费用，附备案说明、三套组合方案（极简免费版、国内优化版、平衡版），以及按客户所在地做取舍的判断依据。</description></item></channel></rss>