MoE数据特征、训练和推理的通信特点、基于NVLink/Scale Up那些Feature,DeepSeek的DeepEP和对MoE All-to-All数据的处理2026年8月23日·更新于 2026年10月18日·3305 字 ·3 分钟研究笔记 研究笔记 LLM AI Infra
五一假期,我花了3.5亿Token,从零写了一套企业LLM WiKi2026年5月5日·2758 字 ·2 分钟实践记录 AI LLM 知识库 Wiki 实践记录 Karpathy Claude Code
From 10% to 96%: Qwen2.5-0.5B 文本分类微调实践2026年2月27日·更新于 2026年10月18日·1598 字 ·2 分钟研究笔记 研究笔记 LLM Fine-Tuning
《KIMI K2.5: VISUAL AGENTIC INTELLIGENCE》阅读笔记2026年2月27日·更新于 2026年10月18日·2831 字 ·1 分钟研究笔记 研究笔记 Reinforcement Learning LLM
【万字硬核】微软 & NVIDIA 联合巨作《Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B》全方位技术解析2024年4月9日·3445 字 ·3 分钟研究笔记 研究笔记 LLM