title: 什么是 SM 利用率?

SM 利用率衡量的是流式多处理器 (SM)执行指令的时间百分比。

SM 利用率类似于更常见的nvidia-smi报告的内核利用率,但粒度更细。它不再报告内核在 GPU 上任何位置执行的时间比例,而是报告所有SM执行内核的时间比例。如果一个内核仅使用一个SM(例如,因为它只有一个线程块),那么在其活动期间它将达到 100% 的 GPU 利用率,但 SM 利用率最多仅为 SM 总数的倒数——在 H100 GPU 中低于 1%。

与 GPU 利用率类似但不同于 CPU 利用率,SM 利用率应该很高,甚至可以达到 100%。

但尽管 SM 利用率比 GPU 利用率粒度更细,它仍然不足以捕捉 GPU 计算资源的使用效率。如果 SM 利用率很高,但性能仍然不足,程序员应检查流水线利用率,该指标衡量每个 SM 使用其内部功能单元的效能。高 SM 利用率伴随低流水线利用率表明您的内核正在许多 SM 上运行,但未能充分利用每个 SM 内的计算资源。