GPU 显存优化实战指南
混合精度、Gradient Checkpointing、模型并行、Offload 策略与 OOM 诊断流程,覆盖训练与推理场景。
¥29.9 / 单次 PDF 下载
内容预览
【摘要】
显存 OOM 是 AI 工程中最常见的生产事故。本文从 PyTorch 内存分配机制出发,给出可操作的优化路径。
推理侧
• FP16/BF16 量化与 AWQ/GPTQ
• batch size 动态调整
• torch.cuda.empty_cache 的正确时机
训练侧
• Gradient Checkpointing 显存/速度权衡
• DeepSpeed ZeRO Stage 2/3 选型
(完整 PDF 含 nvidia-smi 诊断清单)
支付 ¥29.9 后可下载完整 PDF 技术文档(14 页)。
点击后将弹出收款二维码。