資料中心網絡互連 2026：800G、1.6T 與光模組如何規劃
AI 叢集擴大之後，伺服器與伺服器之間的 scale-out 網絡，成為訓練與推理效率的關鍵路徑。交換晶片頻寬已推進到 102.4 Tb/s，網卡為每個 GPU 提供 1.6 Tb/s 網絡頻寬，光模組亦分成可插拔、線性驅動與共同封裝三條路線。本文整理 2026 年資料中心網絡互連的主要技術節點，以及規劃時需要逐項確認的條件。本文聚焦機櫃之間的乙太網絡與光互連；機櫃內的 scale-up 互連，另見 AI 伺服器機櫃一文。
重點摘要
- 交換晶片：Broadcom 於 2025 年 6 月開始出貨 102.4 Tb/s 的 Tomahawk 6，並於 2026 年 3 月宣布進入量產出貨。
- 共同封裝光學：Broadcom Tomahawk 6–Davisson 以 16 個 6.4 Tb/s 光學引擎實現共同封裝光學；NVIDIA Spectrum-X Photonics 提供 102.4 Tb/s（128 個 800G 埠）的 SN6810 與 409.6 Tb/s（512 個 800G 埠）的 SN6800。
- 網卡：NVIDIA ConnectX-9 SuperNIC 為每個 GPU 提供 1.6 Tb/s 網絡頻寬。
- 標準：IEEE P802.3dj 以每通道 200 Gb/s 為基礎，定義 200G 至 1.6T 乙太網；Ultra Ethernet Consortium 於 2025 年 6 月發布 1.0 規範。
- 光模組：OSFP-XD 把電氣通道由 8 條增至 16 條；LPO MSA 已發布每通道 100 Gb/s 的線性可插拔規範，並開始每通道 200 Gb/s 的工作。
scale-up 與 scale-out：先分清兩種網絡
同樣稱為「互連」，機櫃內與機櫃之間解決的是不同問題，規劃時需要分開處理。
scale-up 互連把同一協同範圍內的 GPU 連成一個高速域，例如 NVLink 機櫃；scale-out 網絡則把多個節點或機櫃連接起來，承載跨節點的集合通訊、數據載入與儲存流量。前者由平台廠商在機櫃設計中決定，後者則由交換器、網卡、光模組與線纜共同組成，由用戶按叢集規模、拓撲與既有網絡規劃。
本文討論的是 scale-out 網絡。當單個 GPU 的對外頻寬提高，交換器的埠數、光模組的功耗與機房的佈線方式都需要一併重新計算。
交換晶片：102.4 Tb/s 世代
交換晶片的總頻寬，決定一台交換器在指定埠速下可以提供多少個埠，亦影響網絡需要多少層。
Broadcom 於 2025 年 6 月宣布開始出貨 Tomahawk 6，單晶片交換容量為 102.4 Tb/s；2026 年 3 月，Broadcom 宣布 Tomahawk 6 系列進入量產出貨。以 102.4 Tb/s 計算，一顆晶片可以提供 64 個 1.6T 埠或 128 個 800G 埠（按總頻寬除以單埠速率計算）。
每台交換器可提供的埠數越多，同樣規模的叢集所需的網絡層數與交換器數量就可能越少，跨層跳數亦隨之減少。實際設計仍取決於拓撲、超額訂閱比例與故障域的劃分。
單埠速率與網卡：800G 到 1.6T
網卡的對外頻寬提高之後，交換器埠速、光模組與線纜需要按同一速率配對。
NVIDIA 在 Vera Rubin 平台中，以 ConnectX-9 SuperNIC 為每個 GPU 提供 1.6 Tb/s 網絡頻寬。1.6 Tb/s 約等於每秒 200 GB，800 Gb/s 約等於每秒 100 GB（按 8 bit 為 1 byte 換算）。網卡速率與交換器埠速不一致時，需要以分支線纜或速率轉換配對，佈線與光模組數量亦會不同。
標準方面，IEEE 802.3 工作組以 P802.3dj 項目定義 200G、400G、800G 與 1.6T 乙太網，物理層以每通道 200 Gb/s 或以上的訊號為基礎，涵蓋銅纜、背板與單模光纖。
光模組：可插拔、LPO 與共同封裝
埠速提高之後，光模組的功耗與密度成為交換器設計的主要約束，三條技術路線各有取捨。
- 可插拔光模組：維持模組可現場更換的運維方式。OSFP MSA 的 OSFP-XD 規格把電氣通道由 8 條增至 16 條，為更高總頻寬預留空間。
- 線性可插拔光學（LPO）：省去模組內的 DSP，以降低功耗與延遲。LPO MSA 於 2025 年 3 月發布 100G-DR-LPO 規範，同年 9 月發布 400G-FR4-LPO 規範，兩者均以每通道 100 Gb/s、單模光纖至少 500 米為基礎，並已開始每通道 200 Gb/s 的工作。
- 共同封裝光學（CPO）：把光學引擎與交換晶片封裝在一起，縮短電氣路徑。Broadcom Tomahawk 6–Davisson 採用 16 個 6.4 Tb/s 光學引擎；NVIDIA Spectrum-X Photonics 的 SN6810 為 102.4 Tb/s、128 個 800G 埠，SN6800 為 409.6 Tb/s、512 個 800G 埠。
三條路線的分別，主要在功耗、可維修性、供應鏈成熟度與既有運維流程的相容性。選擇時，需要把光模組的更換方式、故障處理與備件安排一併納入評估。
協議層：Ultra Ethernet
硬件頻寬提高之後，集合通訊的效率越來越取決於傳輸協議、擁塞控制與網卡的配合。
Ultra Ethernet Consortium 於 2025 年 6 月發布 Ultra Ethernet 1.0 規範，涵蓋網卡、交換器、光模組與線纜所在的通訊堆疊，目標是讓乙太網更適合 AI 與 HPC 的大規模工作負載；規範可公開下載，並持續推出修訂版本。採用新協議時，需要確認網卡、交換器韌體、作業系統驅動與集合通訊庫的支援版本。
規劃框架
| 規劃項目 | 需要確認的條件 |
|---|---|
| 頻寬目標 | 每個 GPU 的對外頻寬、網卡速率與交換器埠速是否一致 |
| 拓撲與層數 | 叢集規模、交換器埠數、網絡層數與跨層跳數 |
| 超額訂閱 | 訓練、推理與儲存流量是否共用同一網絡，以及各層的超額訂閱比例 |
| 光模組路線 | 可插拔、LPO 或共同封裝；傳輸距離、功耗與更換方式 |
| 佈線 | 光纖類型、分支線纜、機櫃之間的距離與走線容量 |
| 協議與軟件 | RDMA 傳輸、擁塞控制、Ultra Ethernet 支援，以及集合通訊庫版本 |
| 運維 | 故障域、備件、韌體升級與監控方式 |
常見問題
- 800G 與 1.6T 應該怎樣選擇？
- 先由每個 GPU 的對外頻寬與網卡速率出發，再配對交換器埠速與光模組。以 102.4 Tb/s 交換晶片計算，一顆晶片可提供 64 個 1.6T 埠或 128 個 800G 埠，兩者影響的是埠數、佈線與網絡層數。
- 共同封裝光學會取代可插拔光模組嗎？
- 兩者並存。共同封裝光學縮短電氣路徑；可插拔光模組維持現場更換的運維方式。選擇取決於功耗目標、維修流程與既有網絡的相容性。
- 機櫃內的 NVLink 與機櫃之間的乙太網有甚麼分別？
- NVLink 等 scale-up 互連把機櫃內的 GPU 連成一個高速域；scale-out 乙太網連接多個節點或機櫃，承載跨節點的通訊、數據載入與儲存流量。