NVIDIA Tesla A2 GPU运算卡
NVIDIA A2 Tensor Core GPU是NVIDIA 2021年11月10日推出的低功耗边缘计算推理设备。
A2参数:
GPU架构: NVIDIA Ampere
核心代号: GA107
核心频率: 基础频率 1440 MHz, Boost频率最高 1770 MHz
CUDA核心数: 1280
Tensor核心数: 40个(第三代Tensor Core)，支持TF32, BFLOAT16, INT8 和 INT4精度加速
RT核心数: 10个(第二代RT Core)，用于加速光线追踪任务
制造工艺: 三星8nm
显存容量: 16GB GDDR6，支持ECC
显存带宽: 200GB/s
系统接口: PCIe Gen4 x8
媒体引擎: 1个硬件视频编码器(NVENC)和2个硬件视频解码器(NVDEC,包含AV1解码支持)
A2的特点是:
低功耗: 功耗只有40-60W(TDP)
小尺寸: 半高无风扇(安装在机架服务器,被动散热)，支持大规模部署
高性能: 入门级推理，适合边缘部署(空间和散热受限的边缘服务器和工业环境)
全栈软件支持: 支持NVIDIA AI Enterprise 软件套件及多种虚拟化软件(如 vPC, vWS, vCS)
结构化稀疏（Structural Sparsity）技术
Tesla A2 结构化稀疏(Structural Sparsity)技术 开启后算力通常可翻倍:
精度类型 |
峰值算力 (标准) |
峰值算力 (稀疏) |
|---|---|---|
FP32 (单精度) |
4.5 TFLOPS |
不适用 |
TF32 Tensor Core |
9 TFLOPS |
18 TFLOPS |
FP16 Tensor Core |
18 TFLOPS |
36 TFLOPS |
BFLOAT16 Tensor Core |
18 TFLOPS |
36 TFLOPS |
INT8 Tensor Core |
36 TOPS |
72 TOPS |
INT4 Tensor Core |
72 TOPS |
144 TOPS |