企業 AI GPU 2026：H200、Blackwell 到 Vera Rubin，GPU 越多為何未必越快？
分析 2026 年企業 AI GPU 由單卡走向機櫃級系統的趨勢，涵蓋 NVIDIA H200、B300、GB300 NVL72、Vera Rubin NVL72、Groq 3 LPX，以及 AMD Instinct MI355X、MI455X、Helios 與 MI430X 的顯存、互連與平台路線。
企業 AI GPU 的競爭，正由單卡峰值算力延伸至 HBM 容量、互連範圍、數據路徑與機櫃級設計。企業衡量的重點，亦由「一張卡有多快」轉向「在指定品質、延遲與電力條件下，一套系統能完成多少工作」。本文整理 NVIDIA 由 Hopper、Blackwell 到 Vera Rubin，以及 AMD 由 MI300 到 MI400 系列的平台演進與下一代路線。
重點摘要
- 瓶頸轉移：推理服務的瓶頸常見於 KV cache、記憶體存取與跨卡通訊，而不只是運算量。
- 顯存：H200 為 141 GB HBM3e；B300 與 MI355X 為 288 GB HBM3e；Rubin 為 288 GB HBM4；AMD MI455X 提升至 432 GB HBM4。
- 機櫃化：GB200 NVL72、GB300 NVL72、Vera Rubin NVL72 與 AMD Helios 機架級參考架構，均以 72 GPU 作為協同單位。
- 平台化：Vera Rubin 平台由 Rubin GPU、Vera CPU、NVLink 6 Switch、ConnectX-9、BlueField-4、Spectrum-6 與 Groq 3 LPU 共同組成。
- 路線：NVIDIA 於 GTC 2025 公布 Rubin Ultra 系統預計 2027 年下半年推出，並在同一路線圖首次公布 Feynman，預計 2028 年推出，其後於 GTC 2026 補充 Feynman 世代細節；AMD 於 Advancing AI 2026 公布 MI500 於 2027 年、MI600 於 2028 年推出。
平台總覽
| 平台 | 架構 | 顯存 | 系統形態 | 狀態 |
|---|---|---|---|---|
| NVIDIA H100 | Hopper | 80 GB HBM3 | HGX 8-GPU | 已出貨 |
| NVIDIA H200 | Hopper | 141 GB HBM3e | HGX 8-GPU | 已出貨 |
| NVIDIA B200／GB200 NVL72 | Blackwell | HBM3e | HGX 8-GPU／72 GPU 機櫃 | 已出貨 |
| NVIDIA B300／HGX B300 | Blackwell Ultra | 每 GPU 288 GB HBM3e | 8-GPU 平台 | 已出貨 |
| NVIDIA GB300 NVL72 | Blackwell Ultra | HBM3e | 72 GPU 機櫃 | 已出貨 |
| NVIDIA Vera Rubin NVL72 | Rubin | 每 GPU 288 GB HBM4 | 72 GPU 機櫃 | 已出貨 |
| NVIDIA HGX Rubin NVL8 | Rubin | 每 GPU 288 GB HBM4 | 8-GPU 平台 | 已公開規格 |
| NVIDIA Groq 3 LPX | Groq 3 LPU | 每機櫃 128 GB SRAM | 256 LPU 機櫃 | 量產中 |
| AMD MI300X／MI325X | CDNA 3 | 192 GB HBM3／256 GB HBM3E | 8-GPU 平台 | 已出貨 |
| AMD MI350X／MI355X | CDNA 4 | 288 GB HBM3E | 8-GPU 平台 | 已出貨 |
| AMD MI455X／Helios | CDNA 5 | 每 GPU 432 GB HBM4 | 72 GPU 機架級參考架構 | 已發佈 |
| AMD MI430X | CDNA 5 | HBM4 | HPC 叢集 | 已發佈 預計 2027 年上市 |
瓶頸由運算轉向數據路徑
同樣是 GPU 等待，原因可以完全不同；增加 GPU 數量，未必能縮短服務時間。
一個已把模型載入顯存的推理服務，在提高並發後反而變慢：KV cache 隨請求數量增長，記憶體存取與跨卡通訊開始爭用資源。另一個訓練工作，則在寫入檢查點時停下來等待儲存。前者受限於顯存與互連，後者受限於儲存路徑。
這解釋了加速器競爭為何延伸至 HBM、互連與機櫃設計。單卡峰值描述的是一段運算的上限；企業真正需要衡量的，是在指定品質、延遲與電力條件下可以完成的工作量。
Hopper 到 Blackwell：顯存與精度同步改變
由 Hopper 到 Blackwell，變化不只在運算速度，更在於模型能否留在本地顯存，以及可使用的低精度執行路徑。
H100 與 H200 同屬 Hopper 架構。H200 把顯存提升至 141 GB HBM3e，直接影響模型能否完整留在單卡顯存，以及需要切分到多少張 GPU。H20 同屬 Hopper，但顯存與運算配置與 H100、H200 不同，比較時以完整節點、GPU 數量、驅動與軟件堆疊為單位。
B200 與 B300（Blackwell Ultra）把評估延伸至 FP8 與 FP4 等低精度路徑，其中 B300 每個 GPU 配備 288 GB HBM3e。低精度帶來的吞吐提升，取決於模型的量化校準、算子支援與輸出品質；不同精度下的峰值數字屬於不同條件，需在相同品質門檻下比較。
GB200、GB300 與 Vera Rubin：比較單位走向機櫃
GB200 NVL72、GB300 NVL72 與 Vera Rubin NVL72，把評估焦點由單卡移向機櫃內的協同範圍。
GB200 NVL72 與 GB300 NVL72 在同一機櫃內以 NVLink 連接 72 個 Blackwell 系列 GPU 與 36 顆 Grace CPU。Vera Rubin NVL72 延續機櫃級設計，整合 72 個 Rubin GPU 與 36 顆 Vera CPU；第六代 NVLink 在 NVL72 中提供每個 GPU 最高 3 TB/s 的互連頻寬，全櫃合共 216 TB/s，並以每 GPU 288 GB 的 HBM4 作為新一代 GPU 記憶體。
在機櫃級系統中，關鍵指標是一項任務需要跨越多少互連邊界，而不只是 GPU 總數。更大的高速互連範圍，需要軟件調度、網絡與數據供給同步配合，才能轉化為實際吞吐。
Vera Rubin 平台組成：把元件放回數據路徑
Vera Rubin 是由七類晶片組成的平台，而不是單一 GPU；每個元件負責數據路徑中的不同段落。
- Rubin GPU 與 Vera CPU：運算與主機協同。Vera 採用 88 個自研 Olympus 核心，並以 NVLink-C2C 與 GPU 共享一致性記憶體。
- NVLink 6 Switch：機櫃內的 scale-up 互連，讓 72 個 GPU 以全互連拓撲協同運作。
- ConnectX-9 SuperNIC：節點對外的 scale-out 網絡，為每個 GPU 提供 1.6 Tb/s 網絡頻寬。
- BlueField-4 DPU：整合 64 核 Grace CPU 與 ConnectX-9，負責網絡、儲存、安全與基礎架構數據移動。
- Vera BlueField-4 STX：面向 AI-native storage 與 context memory，支援 KV cache 等長上下文數據的存取與重用。
- Spectrum-6 Ethernet 交換器：多機櫃規模的 Spectrum-X 以太網絡，採用共同封裝光學。
- Groq 3 LPU：面向低延遲 token 生成的推理加速器。
系統形態方面，Vera Rubin NVL72 為機櫃級系統；HGX Rubin NVL8 為八 GPU 平台，可配搭 Vera CPU 或 x86 主機板；DGX Rubin NVL8 則為液冷的八 GPU 系統。
Groq 3 LPX 是 Vera Rubin 平台的推理加速機櫃，每機櫃配備 256 顆 LPU、128 GB SRAM、40 PB/s 記憶體頻寬與 640 TB/s scale-up 頻寬。在分工上，Vera Rubin NVL72 主力處理大規模上下文，LPX 負責對延遲敏感的 token 解碼。對長上下文與低延遲的代理推理，評估指標是端到端 token 延遲、吞吐、數據移動與功耗。
AMD Instinct：由 MI300 到 MI400
AMD 的路線由顯存容量領先起步，逐步走向低精度運算、機架級參考架構與 HPC 專用型號，ROCm 軟件版本是每一代評估的共同條件。
MI300X 與 MI325X（CDNA 3）：由 192 GB HBM3 演進至 256 GB HBM3E，以大容量顯存減少模型分片。
MI350X 與 MI355X（CDNA 4）：配備 288 GB HBM3E，並加入低精度運算能力。它們可以與 H100、H200、B200 或 B300 放進同一測試設計；模型移植、框架版本、算子覆蓋、集合通訊與故障恢復，共同決定有效利用率。
MI455X 與 Helios 機架級參考架構（CDNA 5）：MI455X 配備 432 GB HBM4，面向大規模推理與前沿模型訓練。Helios 是 AMD 的機架級參考架構，由 72 個 MI455X、第六代 EPYC 與 Pensando 網絡組成，HBM4 總容量約 31 TB，FP8 最高 1.4 exaFLOPS、FP4 最高 2.9 exaFLOPS。比較單位同樣是整個協同範圍：主機 CPU、網絡、共享記憶體域、散熱與 ROCm 版本都屬測試條件。
MI430X（CDNA 5）：定位主權 AI 與 HPC，配備 HBM4，提供最高 288 TFLOPS 的硬件 FP64 性能，適合同時需要高精度科學運算與 AI 的環境。MI430X 預計於 2027 年上市，美國橡樹嶺國家實驗室的 Discovery，以及歐洲的 Alice Recoque、Herder 與 LUMI-AI 等超級電腦均已選用。
下一代路線
NVIDIA 與 AMD 均已公開至 2028 年的加速器路線。這些路線可用來預先評估機房的電力、液冷、光互連與軟件演進需求。
- 2027 年路線圖 NVIDIA Rubin Ultra，採用 HBM4e 與 Kyber 機櫃架構，涵蓋 NVL144 與 NVL576 配置。
- 2027 年路線圖 AMD Instinct MI500（CDNA 6、HBM4e）與 Helios 500 機櫃，配搭 EPYC Verano。
- 2027 年已發佈 AMD MI430X 上市。
- 2028 年路線圖 NVIDIA Feynman 世代：新一代 GPU、Rosa CPU、LP40 LPU、BlueField-5、CX10 SuperNIC，並以 Kyber-CPO 引入共同封裝光學的 scale-up 互連。
- 2028 年路線圖 AMD Instinct MI600 與 Helios 600 機櫃，配搭 EPYC Ferrara。
功耗密度與機房條件
當更多加速器集中在同一協同範圍內，供電與散熱成為系統設計的一部分，需要與選型同步規劃。
機櫃級方案的可用運算能力，取決於設施能否持續帶走熱量，以及維護期間仍保留多少服務容量。由 GB300 NVL72、Vera Rubin NVL72 到 Rubin Ultra 的 Kyber 架構，每一代的機櫃功率密度與液冷要求都在提高。對正在運行的系統，先確定 GPU 等待發生在顯存、網絡還是數據供給，才能判斷下一步優化應落在哪一層。
平台評估框架
| 評估維度 | 關注指標 |
|---|---|
| 服務表現 | 指定品質門檻下的首 token 延遲、每 token 延遲與整體吞吐 |
| 記憶體 | HBM 容量與頻寬、KV cache 佔用、模型分片數量 |
| 互連 | 任務跨越的 scale-up 範圍、scale-out 網絡流量 |
| 精度 | FP8／FP4 量化後的輸出品質與算子支援 |
| 軟件 | CUDA／ROCm 版本、框架、集合通訊庫與故障恢復 |
| 設施 | 每機櫃功耗、液冷條件與維護期間的可用容量 |
延伸閱讀
- 伺服器 CPU 2026：EPYC Venice、Xeon 6+ 與 NVIDIA Vera，256 核之後比拼甚麼？
- 專業 GPU 2026：RTX PRO 6000 Blackwell 與 RTX 6000 Ada，升級應看甚麼？
資料來源
- NVIDIA Vera Rubin Platform
- NVIDIA Vera Rubin 平台發佈
- NVIDIA NVLink 與 NVLink Switch
- NVIDIA Groq 3 LPX 全面量產
- NVIDIA 數據中心產品
- AMD Instinct MI400 系列發佈
- AMD Instinct GPUs 與 Helios
資料更新日期：2026-10-18