企業伺服器平衡設計 2026：CPU、GPU、記憶體與 NVMe 都升級了，為何沒變快？
伺服器的每個部件都在升級：記憶體走向 16 通道，PCIe 進入 Gen6，網卡由 400G 走向 800G，NVMe SSD 的讀取速度翻倍。但部件規格逐一提高，並不保證整條服務路徑變短。平衡設計的重點，是找出數據從儲存到 GPU、再到網絡的路徑上，哪一段最先飽和。本文以頻寬預算、PCIe 拓撲與配置比例，整理企業伺服器在 2026 年的平衡設計方法，並作為 CPU、記憶體、GPU、儲存與機櫃架構各篇的總覽。
重點摘要
- 記憶體頻寬：每個 DDR5 通道的頻寬等於傳輸率乘以 8 bytes，DDR5-6400 為 51.2 GB/s；16 通道 DDR5-8000 合共約 1,024 GB/s。
- PCIe 頻寬：PCIe 5.0 x16 每方向約 64 GB/s，PCIe 6.0 x16 約 128 GB/s。
- 網絡頻寬：400G 網卡約 50 GB/s，800G 網卡約 100 GB/s，已超過 PCIe 5.0 x16 的頻寬，需要 PCIe 6.0 x16 或兩條 PCIe 5.0 x16 連線才能完整承載。
- 通道預算：8 張 GPU、8 張網卡與 8 顆 NVMe 合共需要約 288 條 PCIe 通道，超過雙插槽 CPU 直連的 160 至 192 條，因此需要 PCIe 交換器分配頻寬。
- 方法：每次只改一個主要變數，並在正常、尖峰與故障復原三種情境下量度完整路徑，才能分辨瓶頸位置。
頻寬預算總覽
把每一段數據路徑換算成同一單位（GB/s，每方向），才能看出哪一段最先飽和。
| 環節 | 介面 | 頻寬（每方向） | 換算方式 |
|---|---|---|---|
| 記憶體（每通道） | DDR5-6400 | 51.2 GB/s | 6,400 MT/s × 8 bytes |
| 記憶體（每通道） | DDR5-8000 | 64 GB/s | 8,000 MT/s × 8 bytes |
| 記憶體（整顆 CPU） | 12 通道 DDR5-6400 | 約 614 GB/s | 51.2 GB/s × 12 |
| 記憶體（整顆 CPU） | 16 通道 DDR5-8000 | 約 1,024 GB/s | 64 GB/s × 16 |
| GPU 或網卡連線 | PCIe 5.0 x16 | 約 64 GB/s | 32 GT/s × 16 條 ÷ 8 |
| GPU 或網卡連線 | PCIe 6.0 x16 | 約 128 GB/s | 64 GT/s × 16 條 ÷ 8 |
| NVMe SSD | PCIe 5.0 x4 | 約 16 GB/s（產品約 14 GB/s） | 32 GT/s × 4 條 ÷ 8 |
| NVMe SSD | PCIe 6.0 x4 | 約 32 GB/s（產品約 28 GB/s） | 64 GT/s × 4 條 ÷ 8 |
| 網卡 | 400G | 約 50 GB/s | 400 Gb/s ÷ 8 |
| 網卡 | 800G | 約 100 GB/s | 800 Gb/s ÷ 8 |
以上為未計協定開銷的理論值，實際可用頻寬會略低。
每個部件都升級，為甚麼收益仍有限？
零件規格逐一提高，並不保證服務路徑變短；整體表現取決於路徑上最先飽和的那一段。
假設 GPU 換新之後，工作完成時間幾乎不變。原因可能是數據解壓縮仍佔最多時間，也可能是新增的 NVMe 與網卡共用了一條已經飽和的上行鏈路。
平衡設計不是讓每個部件的使用率同時達到最高。互動推理需要延遲餘量，批次處理重視完成時間窗口，虛擬化還要預留尖峰與故障時的承載能力。「適合」必須對應一項服務條件，而不是一張規格表。
CPU 與記憶體：核心增長快過頻寬
CPU 核心數增長的速度快過記憶體頻寬，每個核心可分到的頻寬，成為多核心平台的主要限制。
以 16 通道 DDR5-8000 約 1,024 GB/s 計算，分攤到 256 個核心，每核心約 4 GB/s；同樣頻寬分攤到 128 個核心，則約 8 GB/s。核心數越多，越需要觀察執行緒是否在等待數據，而不是只看總 CPU 使用率。
記憶體不足引起的分頁，與頻寬不足引起的吞吐停滯，是兩種不同問題，處理方式也不同：前者要增加容量，後者要增加通道或提高傳輸率。雙插槽平台另需注意 NUMA：程序存取另一顆 CPU 的記憶體時，延遲與頻寬都會變差。比較平台時，應使用相同的工作集，並記錄 NUMA 配置。
各平台的核心數與記憶體通道，詳見 伺服器 CPU 2026；DDR5、MRDIMM 與 CXL 的取捨，詳見 AI 伺服器記憶體 2026。
PCIe 拓撲：插槽數不等於頻寬
插槽存在，不代表每個裝置都能同時取得標稱頻寬；PCIe 交換器的上行鏈路與 CPU 根複合體，決定裝置之間如何共享頻寬。
以一台 8-GPU 伺服器計算 PCIe 通道需求：8 張 GPU 各需 x16，8 張網卡各需 x16，8 顆 NVMe 各需 x4，合共約 288 條通道。雙插槽 AMD EPYC 9005 平台的 CPU 直連 PCIe 5.0 通道最多約 160 條，雙插槽 Intel Xeon 6900P 約 192 條，因此 8-GPU 伺服器普遍以 PCIe 交換器擴充連線。
交換器讓多個裝置共用一條上行鏈路。例如兩張 GPU 經同一個交換器、以一條 PCIe 5.0 x16 上行連到 CPU，兩者同時與主機記憶體交換數據時，合共只有約 64 GB/s。拓撲設計時需要確認以下三點：
- GPU 與網卡的配對：GPU 與對應網卡位於同一交換器下，GPU 直接 RDMA 時數據不必經過 CPU。
- NUMA 親和性：GPU、網卡與 NVMe 盡量連到同一顆 CPU，減少跨插槽傳輸。
- 上行鏈路比例：交換器下游裝置的總頻寬，與上行鏈路頻寬的比例。
GPU 顯存的大小，亦決定數據是否需要頻繁跨越主機介面。應把數據傳輸與核心運算分開量度，確認等待發生在哪一段。
GPU 與網絡：每張 GPU 的網絡頻寬
AI 伺服器的網絡設計，通常以每張 GPU 配一張專用網卡為基礎；網卡速率提升後，PCIe 連線亦需要同步升級。
以 NVIDIA DGX B200 為例，8 張 GPU 配 8 張 400G 網卡作為運算網絡，另有兩張雙埠 BlueField-3 DPU 負責儲存與管理流量。運算網絡負責多節點訓練時 GPU 之間的同步，儲存與前端網絡則負責數據載入、檢查點與服務請求，兩者應分開設計，避免互相爭用。
網卡由 400G 升級至 800G 之後，單張網卡約需 100 GB/s 的主機連線頻寬，已超過 PCIe 5.0 x16 的約 64 GB/s。因此 800G 網卡需要 PCIe 6.0 x16 連線；以 NVIDIA ConnectX-8 SuperNIC 為例，它以 PCIe 6.0 x16 連接主機，在 PCIe 5.0 平台上則可經輔助卡以兩條 PCIe 5.0 x16 連接。網絡協定、壅塞控制與拓撲的分析，詳見 AI 伺服器機櫃 2026。
NVMe 與儲存：本地與遠端
本地 NVMe 的測試結果，不等於遠端儲存服務的表現；兩者在數據路徑上分屬不同位置。
本地 NVMe 適合作為數據集快取、檢查點暫存與作業系統。以 DGX B200 為例，系統配置 8 顆 3.84 TB NVMe 作為內部儲存，另有 2 顆 1.9 TB NVMe 作系統碟。大型數據集與共享模型庫，則多放在經網絡存取的遠端儲存。
網絡、數據格式、壓縮與快取策略，都可能改變實際路徑。一次快取命中的測試，亦不能代表冷啟動的表現。應在正常、尖峰與復原情境下觀察完整延遲，而不是把每個部件的最佳數字放在一起。PCIe Gen6 SSD 與高容量 QLC SSD 的分析，詳見 PCIe Gen6 企業 SSD 2026 與 高容量企業儲存 2026。
配置比例參考
| 項目 | 參考配置 | 說明 |
|---|---|---|
| CPU 與 GPU 比例 | 8-GPU 伺服器為 2 顆 CPU 配 8 張 GPU；NVL72 機櫃為 36 顆 CPU 配 72 張 GPU | 機櫃級平台的 CPU 比例較高，以支援數據預處理與 GPU 編排 |
| 網卡與 GPU 比例 | 運算網絡每張 GPU 配一張網卡 | 儲存與前端網絡另行配置 |
| 主機記憶體與 GPU 顯存 | DGX B200：主機記憶體 2 TB（可擴充至 4 TB），GPU 顯存合共 1,440 GB | 主機記憶體需容納數據預處理緩衝與部分卸載的數據 |
| 本地 NVMe | DGX B200：8 顆 3.84 TB NVMe，約 30 TB | 作為數據集快取與檢查點暫存 |
| 整機功耗 | DGX B200：最高約 14.3 kW | 決定每個機櫃可放置的台數 |
以一個升級假設開始
每次只改一個主要變數，重跑相同的工作負載，才能確定瓶頸是否移動。
例如 GPU 長時間閒置時，先判斷是 CPU 預處理、儲存讀取還是同步造成等待。只改一個主要變數，重跑相同負載，再檢查瓶頸是否移動。這比一次更換 CPU、記憶體與 SSD 更容易解釋，也能避免把設定差異誤認為硬件收益。
正常運行的吞吐量只是設計的一半。還需要測試裝置失效、重建與維護期間的服務表現。容量餘量、備援與冷卻能力，應按最繁忙而仍可接受的狀態安排。
評估框架
| 評估維度 | 關注指標 |
|---|---|
| CPU 與記憶體 | 每核心記憶體頻寬、分頁次數、NUMA 跨節點存取比例 |
| PCIe 拓撲 | 交換器上行鏈路比例、GPU 與網卡配對、裝置的 NUMA 親和性 |
| GPU | GPU 閒置時間佔比、主機與顯存之間的傳輸時間 |
| 網絡 | 每 GPU 網絡頻寬、同步等待時間、運算網絡與儲存網絡是否分離 |
| 儲存 | 冷啟動與快取命中的讀取延遲、檢查點寫入時間 |
| 可靠性 | 裝置失效、重建與維護期間的服務表現 |
常見問題
- 為甚麼升級 GPU 之後，工作時間沒有明顯縮短？
- 瓶頸可能不在 GPU，而在數據解壓縮、CPU 預處理、儲存讀取、PCIe 上行鏈路或網絡同步。應先量度 GPU 閒置時間，找出等待發生在哪一段。
- 800G 網卡需要甚麼 PCIe 連線？
- 800G 網卡約需 100 GB/s 的主機連線頻寬，超過 PCIe 5.0 x16 的約 64 GB/s，因此需要 PCIe 6.0 x16，或兩條 PCIe 5.0 x16 連線。
- 8-GPU 伺服器為甚麼需要 PCIe 交換器？
- 8 張 GPU、8 張網卡與 8 顆 NVMe 合共需要約 288 條 PCIe 通道，超過雙插槽 CPU 直連的 160 至 192 條，因此需要交換器擴充連線，並按拓撲分配頻寬。
- 如何計算 DDR5 記憶體頻寬？
- 每個 DDR5 通道的頻寬等於傳輸率乘以 8 bytes，例如 DDR5-6400 為 51.2 GB/s；整顆 CPU 的頻寬再乘以通道數，例如 12 通道 DDR5-6400 約 614 GB/s。
延伸閱讀
- 伺服器 CPU 2026：EPYC Venice、Xeon 6+ 與 NVIDIA Vera，256 核之後比拼甚麼？
- AI 伺服器記憶體 2026：HBM4、MRDIMM、SOCAMM2 與 CXL，HBM 之外還需要甚麼？
- 企業 AI GPU 2026：H200、Blackwell 到 Vera Rubin，GPU 越多為何未必越快？
- 專業 GPU 2026：RTX PRO 6000 Blackwell 與 RTX 6000 Ada，升級應看甚麼？
- PCIe Gen6 企業 SSD 2026：Micron 9650 與 Samsung PM1763，速度翻倍能否減少 GPU 等待？
- 高容量企業儲存 2026：245TB QLC SSD 與 44TB HDD 應怎樣分工？
- AI 伺服器機櫃 2026：Vera Rubin NVL72 與 AMD Helios，為何以整個機櫃部署？
資料來源
- NVIDIA DGX B200 規格
- NVIDIA ConnectX-8 SuperNIC 使用手冊
- AMD EPYC 9006 Series
- AMD EPYC 9005 處理器概覽
- ServeTheHome：EPYC 9005 與 Xeon 6900P 雙路 PCIe 通道
資料更新日期：2026-10-01