Server & AI Infrastructure · 2026-09-07

AI Server 從伺服器走向 Rack-Scale：2026 基礎架構發展方向

理解 8-GPU、HGX、MGX 與機櫃級平台的分工，以及互連、供電、液冷和維運的系統影響。

當同步開始決定一項工作的速度

模型超出單機資源後，增加一台伺服器也增加了一條通訊邊界。GPU 需要交換資料、等待同步，再繼續下一段運算；如果新增運算能力抵不過通訊等待，擴展便不會按台數增長。

8-GPU Server 仍是實用的設計單位。Rack-scale 的不同之處，是把互連、電力、冷卻與維運的協同範圍往外推，而不是單純在機櫃裏多放幾台機器。

HGX 回答多 GPU 加速平台如何組成，MGX 則提供模組化伺服器參考架構。把兩個名稱當成互斥的整機品牌，會漏掉真正需要確認的 OEM 配置。

相同平台名稱不代表相同儲存、網絡或散熱設計。採購一台系統時可逐台核對這些差異；採購協同機櫃時，它們還牽涉共同的支援範圍和維修單位：哪個部件停下來，會影響哪一組工作？

GB200 NVL72、GB300 NVL72 與 Vera Rubin NVL72 展示 NVIDIA 的機櫃級路線；AMD Helios 提供另一個系統級研究方向。比較時應問：一項工作在哪個範圍內共享高速互連，跨越該範圍後又需要甚麼網絡。不能只以總 GPU 數量或總記憶體判斷模型執行效率。

NVLink 與 UALink 屬於加速器互連討論；InfiniBand、Ethernet 及 Spectrum-X 則涉及更廣的網絡設計。這不是一份可任意互換的選單。軟件通訊模式、壅塞控制與拓撲會影響有效傳輸。應用測試需要觀察同步等待與故障後恢復，而不只查看連線標稱速率。

Liquid Cooling 不是部署最後才補上的附件。機櫃方案需要確認設施供回水、熱交換、監控與維護責任；更換計算托盤時亦須考慮停機範圍。供電、網絡及冷卻的冗餘應與服務目標一致，避免一個共同部件成為整個協同範圍的單點限制。

以資料進入、CPU 預處理、GPU 執行、跨節點同步到檢查點寫入作完整驗證。先確保一條路徑穩定，再擴大並發與節點數。這種方法能把機櫃設計轉化為可量度的服務能力，而不是只得到更大的硬件清單。

資料核對日期：2026-09-07。文中型號為技術研究對象，不代表供應承諾；部署須按具體系統及軟件配置確認。