title: 什么是特殊功能单元? abbreviation: SFU
特殊功能单元 (Special Function Units, SFU) 位于流式多处理器 (Streaming Multiprocessors, SMs)中,用于加速特定的算术运算。
H100 SM 的内部架构。特殊功能单元以褐红色显示,与加载/存储单元 (Load/Store Units)一起展示。修改自 NVIDIA 的 H100 白皮书。
对于神经网络工作负载而言,最值得注意的是超越数学运算,例如 exp、sin 和 cos。
与特殊功能单元相关的流式汇编器 (Streaming Assembler, SASS) 指令通常以 MUFU 开头:MUFU.SQRT、MUFU.EX2。有关使用 MUFU.EX2 指令在 CUDA C++ 中实现 expf 内置函数的示例汇编代码,请参阅 此 Godbolt 链接。