| 规格 | NVIDIA T4 | NVIDIA H20 |
|---|
| 架构 | Turing (TU104-895) | NVIDIA Hopper |
| 显存 | 16GB GDDR6 with ECC (默认开启) | 96GB HBM3(Flopper/VipraTech/腾讯新闻三源一致) |
| 显存带宽 | 320GB/s (早期一页版datasheet口径300GB/s) | 4.0TB/s |
| 显存位宽 | 256bit | — |
| 算力 | FP32 8.1 TFLOPS / FP16·FP32混合精度 65 TFLOPS / INT8 130 TOPS / INT4 260 TOPS | FP8 Tensor Core 296 TFLOPS(密集)/592 TFLOPS(2:4稀疏,单源);FP16/BF16 Tensor Core 148 TFLOPS;TF32 Tensor Core 74 TFLOPS;FP32 44 TFLOPS;FP64 1.0 TFLOPS(合规裁剪:H100 SXM同表FP8 3958/FP16 1979/FP64 34);INT8 296 TOPS/592 TOPS(单源) |
| CUDA核心 | 2,560 (40 SM) / Tensor Core 320 / RT Core 40 | 14,592 FP32 CUDA核心(单源VipraTech) |
| 功耗 | 70W (Total board power, 默认) | 400W TDP(Flopper/VipraTech规格表/腾讯新闻'热设计功耗400W'三源;VipraTech正文另有350W矛盾口径已弃) |
| 互联 | PCIe Gen3 x16 (支持x8运行, Interconnect BW 32GB/s) | NVLink 900GB/s+PCIe Gen5 x16 128GB/s |
| 发布年 | 2018 (Product Brief v01 2018-10-24初版, Dec18版datasheet © 2018 NVIDIA) | 2024(Flopper核验Launch Year 2024;腾讯新闻2023-11-10首发报道'即将推出';具体发布日未核验双源,不录) |
| 形态 | 单槽半高半长 Low-Profile 6.6英寸(长169.53mm), 被动散热, 板重301g | HGX 8路SXM基板模组(Flopper'SXM'/VipraTech'8-way HGX'/腾讯新闻'HGX方案8路GPU配置+H20 SXM';同批L20/L2为PCIe形态) |
| 时钟 | Base 585MHz / Boost 1590MHz (Base为70W功耗墙下调校) | — |
| 媒体引擎 | 1080p30解码 H.264 32路 / HEVC 44路 / VP9 32路 | — |
| SR-IOV | Supported; 16 VF（支持） | — |
| 工艺 | 12nm FFN, 136亿晶体管, 545mm2 | — |
| Compute APIs | CUDA, NVIDIA TensorRT, ONNX | — |
| L2缓存 | — | 60MB(单源VipraTech) |
| MIG切片 | — | 最多7实例(VipraTech+腾讯新闻'7路MIG'双源) |
| 编解码器 | — | 7 NVDEC + 7 NVJPEG(单源VipraTech) |
| 出口合规背景 | — | 2022-10美国出口管制后对华合规特供卡:算力密度较H100大幅裁剪(FP8约为H100 SXM的7.5%),以显存96GB+NVLink900GB/s保推理场景(QQ:综合算力约H100的20%) |