AI 伺服器記憶體 2026：HBM4、MRDIMM、SOCAMM2 與 CXL，HBM 之外還需要甚麼？
AI 伺服器的記憶體正由單一的 DDR5 主記憶體，分化為多個層級：GPU 封裝內的 HBM、CPU 記憶體通道上的 RDIMM 與 MRDIMM、以低功耗 LPDDR5X 為基礎的 SOCAMM2，以及經 CXL 連接的擴充記憶體。各層在容量、頻寬、延遲與功耗上各有取捨。本文整理 2026 年各層記憶體的技術規格、代際變化與主要廠商進展，以及它們在 AI 系統中的分工。
重點摘要
- 分層：HBM 負責 GPU 的運算頻寬；RDIMM 與 MRDIMM 負責 CPU 主記憶體的容量與頻寬；SOCAMM2 以低功耗提供高密度主記憶體；CXL 提供可擴充的額外容量層。
- RDIMM：DDR5-8000 RDIMM 已進入量產，3DS RDIMM 以 32Gb 顆粒做到單條 256 GB。
- MRDIMM：第一代為 8,800 MT/s；第二代標準的目標為 12,800 MT/s；JEDEC 已開始研發第三代標準，AMD 於 2023 年 MemCon 展示的路線圖把第三代目標定為 17,600 MT/s。
- SOCAMM2：SK hynix 與 Samsung 的 192 GB 模組已經量產，Micron 已向客戶送樣 256 GB 模組。
- HBM：HBM4 介面加寬至 2,048-bit，12 層堆疊為 36 GB；HBM4E 的 12 層樣品達 48 GB、每堆疊 3.6 TB/s。
記憶體分層總覽
| 技術 | 位置 | 單位容量 | 速率或頻寬 | 2026 年狀態 |
|---|---|---|---|---|
| HBM3E | GPU 封裝內 | 8 層 24 GB／12 層 36 GB（每堆疊） | 每堆疊約 1.2 TB/s | 量產 |
| HBM4 | GPU 封裝內 | 12 層 36 GB／16 層 48 GB（每堆疊） | 2,048-bit 介面，每堆疊 2 TB/s 起 | 量產 |
| HBM4E | GPU 封裝內 | 12 層 48 GB（每堆疊） | 每堆疊最高 3.6 TB/s | 送樣 |
| SOCAMM2 | CPU 旁，可更換模組 | 192 GB／256 GB | LPDDR5X | 量產 192 GB；256 GB 送樣 |
| DDR5 RDIMM | CPU 記憶體通道 | 16 GB 至 128 GB | 最高 DDR5-8000 | 量產 |
| DDR5 3DS RDIMM | CPU 記憶體通道 | 128 GB／256 GB | DDR5-6400 至 DDR5-8000 | 量產 |
| MRDIMM 第一代 | CPU 記憶體通道 | 32 GB 至 256 GB | 8,800 MT/s | 已出貨 |
| MRDIMM 第二代 | CPU 記憶體通道 | 最高 128 GB（Samsung） | 12,800 MT/s | 已展示 JEDEC 標準定稿中 |
| CXL Type 3 記憶體 | 經 PCIe／CXL 連接 | 96 GB 至 256 GB | PCIe 5.0 x8 | 已出貨 CXL 2.0；CXL 3.x 開發中 |
容量、頻寬與延遲：三個不同的問題
HBM 增加之後，主記憶體的壓力並沒有消失；容量、頻寬與延遲是三個需要分開處理的問題。
模型權重留在 GPU 顯存，但數據集、預處理緩衝、主機程序與部分卸載的 KV cache 仍然需要主記憶體。當多張 GPU 共用同一條數據載入流程，DDR5 既要容得下工作集，也要供得上數據。
- 容量：工作集超出主記憶體時，系統會發生分頁或觸發磁碟交換，表現為突發性的大幅延遲。
- 頻寬：容量足夠時，高並發的數據讀寫仍可能受每通道頻寬限制，表現為整體吞吐無法再提升。
- 延遲：推理服務對尾端延遲敏感，記憶體位於本地通道、CXL 裝置或遠端 NUMA 節點，存取成本各不相同。
64 GB、96 GB、128 GB 與 256 GB 模組是容量配置選項，而不是由低到高的性能排名。相同的總容量如何平均分配到每個通道，往往比單條模組的容量更影響頻寬。
DDR5 RDIMM 與 3DS RDIMM：由 24Gb 到 32Gb 顆粒
DRAM 顆粒密度的提升，決定了單條 RDIMM 的容量上限，以及是否需要使用堆疊技術。
DDR5 RDIMM 是企業伺服器最主要的主記憶體形式，速率由 DDR5-4800、5600、6400 演進至 DDR5-8000。Micron 已展示並開始量產 DDR5-8000 RDIMM；Intel Xeon 6+ 以 12 通道 DDR5-8000 運行，AMD EPYC 9006 與 Intel Diamond Rapids 亦支援 DDR5-8000。
容量方面，24Gb 顆粒帶來 48 GB 與 96 GB 這類非二次方容量；32Gb 顆粒則讓 128 GB RDIMM 無需堆疊即可製造。更高容量的 3DS RDIMM 以矽穿孔（TSV）堆疊 DRAM：SK hynix 以 32Gb 顆粒製造的 256 GB 伺服器 RDIMM 已通過 Intel 數據中心認證；Micron 則於 2026 年 5 月公布正在送樣 256 GB DDR5 3DS RDIMM，速率最高 9,200 MT/s。
配置時需要同時考慮每通道的模組數量。部分平台支援每通道兩條（2DPC），可增加總容量，但平台支援的運行速率通常低於每通道一條（1DPC）。高頻寬配置以每通道一條、全部通道平均填滿為基礎。
MRDIMM：第一代到第三代
MRDIMM 以多工方式同時存取兩組 rank，在沿用 DDR5 顆粒的前提下，把每通道的傳輸率提高至接近 RDIMM 的兩倍。
MRDIMM（Multiplexed Rank DIMM）是 JEDEC 標準化的模組。模組上配置 MRCD 與 MDB 晶片，讓兩組 rank 同時運作並交錯輸出，因此主機介面的傳輸率是 DRAM 本身運行速率的兩倍。
- 第一代：以兩組 DDR5-4400 交錯運行，主機介面為 8,800 MT/s，用於 Intel Xeon 6900P。Micron 的第一代產品涵蓋 32 GB、64 GB、96 GB、128 GB 與 256 GB，標準高度版本無需使用 3DS 堆疊顆粒；加高版本因散熱面積較大，在相同風流下溫度低約 24%。
- 第二代：以兩組 DDR5-6400 交錯運行，達 12,800 MT/s，比 DDR5-8000 RDIMM 高約六成。JEDEC 的 JC-40 與 JC-45 委員會正完成第二代標準；Samsung 已展示第二代產品，容量最高 128 GB。AMD EPYC 9006 SP7 平台與 Intel Diamond Rapids 均以 12,800 MT/s 作為記憶體最高速率，Intel 亦表示 Xeon 6900P 將加入第二代 MRDIMM 支援。
- 第三代：JEDEC 已開始研發第三代標準；AMD 於 2023 年 MemCon 展示的路線圖目標為 17,600 MT/s。
MRDIMM 提高的是每通道的數據供給能力。效益主要出現在頻寬受限、並發度高的工作負載；容量不足造成的分頁，無法靠提高傳輸率解決。第二代的單條容量亦低於最大的 3DS RDIMM，容量與頻寬需要一併取捨。
CXL 記憶體擴充：在通道之外增加容量
CXL Type 3 記憶體經 PCIe 實體層連接，在不增加 CPU 記憶體通道的情況下擴充容量，形成一個延遲較高、容量較大的記憶體層。
CXL 記憶體擴充模組採用 CXL.mem 協定，常見形式為 EDSFF E3.S 或擴充卡，以 PCIe 5.0 x8 連接。作業系統把它視為額外的記憶體節點；由於存取需經過 CXL 控制器，延遲高於本地 DIMM，因此通常搭配記憶體分層：把常用數據放在本地 DIMM，把次常用數據放在 CXL 記憶體。
- Samsung：CMM-D 為 CXL 2.0 模組，提供 128 GB 與 256 GB，頻寬最高 36 GB/s。CMM-B 記憶體池設備可連接最多 24 個 E3.S CMM-D。Samsung 亦計劃在年內量產採用 CXL 3.2 的 CMM-D 3.0。
- SK hynix：CMM-DDR5 為 CXL 2.0 模組，96 GB 版本已完成客戶驗證，另有 128 GB 版本；採用 CXL 3.2 的第二代 CMM-DDR5 樣品已公開展示。
- Micron：CZ120 與 CZ122 系列 CXL 2.0 記憶體擴充模組，提供 128 GB 與 256 GB。
CXL 3.x 把速率提升至 64 GT/s（PCIe 6.0），並加入多層交換與記憶體共享。平台方面，Intel Xeon 6+ 提供 64 條 CXL 2.0 通道，Intel Diamond Rapids 支援 CXL 3.0，NVIDIA Vera 支援 CXL 3.1。
SOCAMM2 與 LPDDR5X：低功耗主記憶體進入伺服器
SOCAMM2 把原本用於流動裝置的 LPDDR5X 做成可更換的伺服器模組，以較低功耗與較小體積提供高密度主記憶體。
SOCAMM2（Small Outline Compression Attached Memory Module 2）以壓合式連接器固定在主機板上，兼顧訊號完整性與可更換性。前一代 AI 主機 CPU 多把 LPDDR5X 直接焊接在板上，容量在出廠時已固定；SOCAMM2 則讓 LPDDR5X 主記憶體可以按需要配置與更換。
- SK hynix：2026 年 4 月開始量產 192 GB SOCAMM2，採用 1c 製程 LPDDR5X。SK hynix 表示其頻寬為傳統 RDIMM 的兩倍以上，能源效益提升超過 75%。
- Samsung：已量產 192 GB SOCAMM2，並以低溫焊接技術改善模組翹曲問題。Samsung 表示其頻寬最高可達 DDR 伺服器記憶體的 2.6 倍，能源效益提升超過 70%。
- Micron：2026 年 3 月向客戶送樣 256 GB SOCAMM2，採用業界首款單晶片 32Gb LPDDR5X 顆粒，功耗與體積約為傳統 RDIMM 的三分之一。
在實際平台上，NVIDIA Vera 每顆 CPU 最多配置 8 條 SOCAMM2，容量最高 1.5 TB、頻寬最高 1.2 TB/s。SOCAMM2 需要主機板與 CPU 按其介面設計，不能插入 RDIMM 插槽，兩者屬於不同的平台路線。
HBM：由 HBM3E 到 HBM4E
HBM 以矽穿孔堆疊 DRAM，並與 GPU 放在同一封裝內；HBM4 把介面寬度加倍，是 HBM 歷來最大的一次架構變化。
- HBM3E：1,024-bit 介面，每堆疊頻寬約 1.2 TB/s；8 層堆疊為 24 GB，12 層為 36 GB。
- HBM4：JEDEC 於 2025 年 4 月發佈標準，介面加寬至 2,048-bit、32 個通道；以標準的 8 Gbps 計算，每堆疊頻寬為 2 TB/s。廠商產品的腳位速率已超過 11 Gbps，Micron 的樣品每堆疊頻寬超過 2.8 TB/s。12 層堆疊為 36 GB；SK hynix 於 CES 2026 展示 16 層 48 GB 堆疊。Samsung 於 2026 年 2 月開始商業出貨，SK hynix 於 2026 年第二季開始大量出貨。
- HBM4E：Samsung 於 2026 年 5 月送出業界首批 12 層 HBM4E 樣品，每堆疊 48 GB、頻寬 3.6 TB/s、腳位速率最高 16 Gbps；SK hynix 於 2026 年 6 月向主要客戶送樣。
由 HBM4 開始，堆疊底部的基底晶片（base die）改用晶圓代工的邏輯製程生產：SK hynix 的 HBM4 採用台積電 12nm 邏輯製程的基底晶片。基底晶片可以整合更多邏輯功能，HBM 亦由標準零件走向按加速器需求客製化。HBM 屬於加速器封裝的一部分，無法由使用者更換或擴充；各款 GPU 的 HBM 配置，詳見 企業 AI GPU 2026。
平台與記憶體規格對照
| 平台 | 記憶體類型 | 通道／模組數 | 最高速率或頻寬 |
|---|---|---|---|
| AMD EPYC 9006（SP7） | DDR5 RDIMM、MRDIMM | 16 通道 | DDR5-8000；MRDIMM 12,800 MT/s |
| AMD EPYC 9006（SP8） | DDR5 RDIMM、MRDIMM | 8 通道，每通道最多 2 條 | DDR5-8000；MRDIMM 12,800 MT/s |
| Intel Xeon 6+ | DDR5 RDIMM | 12 通道 | DDR5-8000 |
| Intel Xeon 6900P | DDR5 RDIMM、MRDIMM | 12 通道 | DDR5-6400；MRDIMM 8,800 MT/s |
| Intel Diamond Rapids | DDR5 RDIMM、MRDIMM | 16 通道 | DDR5-8000；MRDIMM 12,800 MT/s |
| NVIDIA Vera | SOCAMM2（LPDDR5X） | 最多 8 條模組 | 每顆 CPU 1.2 TB/s |
| AmpereOne M | DDR5 RDIMM | 12 通道，每通道 1 條 | DDR5-5600 |
各平台的核心數、PCIe 與整體架構，詳見 伺服器 CPU 2026。
評估框架
先固定 CPU、韌體與電力設定，再調整記憶體配置，才能把效益正確歸因到記憶體本身。
| 評估維度 | 關注指標 |
|---|---|
| 容量餘量 | 峰值工作集、分頁與交換次數 |
| 持續頻寬 | 實際負載下每通道與整體的持續讀寫頻寬 |
| 尾端延遲 | 推理服務的 p99 延遲，以及本地、CXL 與遠端 NUMA 的存取差異 |
| 功耗 | 每 GB 與每 GB/s 的功耗，以及整機功率上限 |
| GPU 等待 | GPU 等待數據的時間佔比 |
| 配置條件 | 通道填充方式、每通道模組數、模組類型與韌體設定 |
若量度結果顯示限制來自儲存或網絡，提高記憶體速率未必帶來相應改善；先確認 GPU 等待發生在哪一層，再決定記憶體配置的調整方向。
常見問題
- MRDIMM 與 RDIMM 有甚麼分別？
- 兩者都使用 DDR5 顆粒。MRDIMM 在模組上加入多工晶片，讓兩組 rank 同時運作，主機介面的傳輸率因此是 DRAM 運行速率的兩倍：第一代為 8,800 MT/s，第二代為 12,800 MT/s。RDIMM 目前最高為 DDR5-8000，單條容量上限則較高。
- SOCAMM2 可以取代 RDIMM 嗎？
- 兩者屬於不同的平台路線。SOCAMM2 以 LPDDR5X 為基礎，需要主機板與 CPU 按其介面設計，例如 NVIDIA Vera；它不能插入 RDIMM 插槽。
- HBM4 與 HBM3E 的主要差異是甚麼？
- HBM4 的介面由 1,024-bit 加寬至 2,048-bit，每堆疊頻寬由約 1.2 TB/s 提升至 2 TB/s 以上；堆疊高度可達 16 層，並由 HBM4 開始以邏輯製程生產基底晶片。
- CXL 記憶體適合甚麼用途？
- 適合在不增加 CPU 記憶體通道的情況下擴充容量，例如大型記憶體數據庫、數據預處理與 KV cache 等容量需求大、但可接受較高延遲的數據。常用數據仍放在本地 DIMM。
延伸閱讀
- 伺服器 CPU 2026：EPYC Venice、Xeon 6+ 與 NVIDIA Vera，256 核之後比拼甚麼？
- 企業 AI GPU 2026：H200、Blackwell 到 Vera Rubin，GPU 越多為何未必越快？
資料來源
- SK hynix：192 GB SOCAMM2 量產
- The Elec：Micron 256 GB SOCAMM2 送樣
- VideoCardz：三大廠 SOCAMM2 進展
- TrendForce：SOCAMM2 量產與 Samsung 翹曲改善
- NVIDIA Vera CPU
- ServeTheHome：DDR5-8000 RDIMM 與第二代 MRDIMM
- Server Configurator：256 GB 3DS RDIMM 與 MRDIMM 運行速率
- ServeTheHome：Xeon 6 平台加入第二代 MRDIMM 支援
- TweakTown：JEDEC 第二代 MRDIMM 標準與第三代目標
- Tom's Hardware：Micron 第一代 MRDIMM
- TrendForce：Samsung CMM-D 與 SK hynix CMM-DDR5
- Seoul Economic Daily：CXL 3.2 記憶體模組
- Samsung CXL Memory Module-Box（CMM-B）
- Cosolvic：CXL 2.0 與 3.x 規格及產品
- HBM3E 至 HBM4E 三大廠時間線
- Tech Times：Samsung HBM4E 樣品
- Introl：HBM3E 至 HBM4 規格演進
- DIGITIMES：SK hynix HBM4 採用台積電基底晶片
- AMD EPYC 9006 Series
- ServeTheHome：Intel Diamond Rapids
- Tom's Hardware：AmpereOne M
資料更新日期：2026-10-18