↓
跳到主要内容
zzszmyf
系列
笔记
关于
量化
2026
企业 AI 落地该选 FP8 还是 FP4?量化格式的成本、质量与硬件决策
2026年10月17日
·
2686 字
·
3 分钟
AI落地
LLM推理优化
量化
企业AI
TCO
硬件选型
AWQ 和 GPTQ 有什么区别?4-bit 权重量化怎么选
2026年9月25日
·
1951 字
·
2 分钟
LLM推理优化
量化
GPTQ
AWQ
GGUF
量化模型怎么部署到 vLLM?QServe 与 FP8 Attention 实践
2026年8月17日
·
2265 字
·
3 分钟
LLM推理优化
量化
量化后精度掉了怎么定位?perplexity 与评测怎么用
2026年8月17日
·
527 字
·
1 分钟
LLM推理优化
量化
QAT 什么时候才值得做?PTQ、QLoRA、BitNet 路线对比
2026年8月17日
·
2966 字
·
4 分钟
LLM推理优化
量化
KV Cache 量化怎么做?KIVI 与「量化还是压缩」的区别
2026年8月17日
·
2695 字
·
4 分钟
LLM推理优化
量化
激活量化为什么比权重量化难?LLM.int8() 与 SmoothQuant 原理
2026年8月17日
·
2984 字
·
4 分钟
LLM推理优化
量化
AWQ 量化原理是什么?和 GPTQ、SqueezeLLM 怎么选
2026年8月17日
·
3553 字
·
4 分钟
LLM推理优化
量化
RTN 和 GPTQ 有什么区别?权重量化方法怎么选
2026年8月17日
·
3803 字
·
5 分钟
LLM推理优化
量化
量化粒度怎么选?为什么离群值会让 INT8 精度崩掉
2026年8月17日
·
3897 字
·
5 分钟
LLM推理优化
量化
1
2
→
↑