↓
跳到主要内容
zzszmyf
系列
笔记
关于
LLM推理优化
2026
vLLM、SGLang、TensorRT-LLM 该怎么选?
2026年10月29日
·
923 字
·
2 分钟
工程实践
LLM推理优化
VLLM
SGLang
TensorRT-LLM
企业 AI 落地该选 FP8 还是 FP4?量化格式的成本、质量与硬件决策
2026年10月17日
·
2686 字
·
3 分钟
AI落地
LLM推理优化
量化
企业AI
TCO
硬件选型
AWQ 和 GPTQ 有什么区别?4-bit 权重量化怎么选
2026年9月25日
·
1951 字
·
2 分钟
LLM推理优化
量化
GPTQ
AWQ
GGUF
SGLang RadixAttention 原理是什么?前缀缓存怎么提升命中率
2026年8月17日
·
6338 字
·
8 分钟
LLM推理优化
注意力内核
注意力优化上线怎么验收?吞吐、显存与精度怎么测
2026年8月17日
·
2900 字
·
4 分钟
LLM推理优化
注意力内核
注意力内核怎么优化?算子融合、CUDA Graph 与 Triton
2026年8月17日
·
3370 字
·
5 分钟
LLM推理优化
注意力内核
PagedAttention 是怎么省下 KV Cache 显存的?
2026年8月17日
·
2903 字
·
4 分钟
LLM推理优化
注意力内核
稀疏注意力、滑动窗口和线性注意力怎么选
2026年8月17日
·
3763 字
·
5 分钟
LLM推理优化
注意力内核
MQA、GQA、MLA 有什么区别?KV Cache 该怎么省
2026年8月17日
·
3114 字
·
6 分钟
LLM推理优化
注意力内核
FlashAttention 原理是什么?为什么又省显存又快
2026年8月17日
·
4119 字
·
7 分钟
LLM推理优化
注意力内核
1
2
3
⋯
4
→
↑