title: 什么是 GPU RAM？

在像 H100 这样的高性能数据中心 GPU 中，RAM 位于与处理器芯片相邻的芯片上。改编自维基百科关于高带宽内存的页面。]

GPU 的底层存储器是一个大容量（数兆字节到数千兆字节）的存储空间，可被 GPU 的所有流式多处理器 (SM) 寻址。

它也被称为 GPU RAM（随机存取存储器）或显存 (VRAM)。它使用动态 RAM (DRAM) 单元，比寄存器文件和一级数据缓存中使用的静态 RAM (SRAM) 速度更慢但体积更小。有关 DRAM 和 SRAM 的详细信息，我们推荐 Ulrich Drepper 2007 年的文章"程序员应了解的内存知识"。

它通常不与流式多处理器 (SM) 位于同一芯片上，不过在最新的数据中心级 GPU（如 H100）中，它位于共享的中介层上，以降低延迟并提高内存带宽。这些 GPU 使用高带宽内存 (HBM) 技术，而不是消费级 GPU 和 CPU 中更常见的双倍数据速率 (DDR) 内存。

RAM 用于实现CUDA 编程模型的全局内存，并存储从寄存器文件溢出的寄存器数据。

H100 可以在其 RAM 中存储 80 GiB (687,194,767,360 位)。