AI 伺服器記憶體趨勢：DDR5 RDIMM、MRDIMM、SOCAMM2 與高容量模組
區分容量、頻寬與延遲，理解 RDIMM、MRDIMM、SOCAMM2 和 HBM 在 AI 系統中的不同角色。
HBM 增加後，主記憶體的壓力沒有消失
模型留在 GPU 顯存，資料集、預處理緩衝和主機程序卻仍需要主記憶體。當更多 GPU 共用資料載入流程，DDR5 既要裝得下工作集，也要供得上資料。這是兩個問題：容量不足可能引發分頁；容量足夠，仍可能受記憶體頻寬限制。
64GB、96GB、128GB 與 256GB 模組是配置選項，不是從低到高的性能排名。相同總容量如何分配到通道，往往比單條模組的容量更值得先看。
RDIMM 與 3DS：密度要配合通道
DDR5 RDIMM 是企業伺服器的重要配置形式，3DS RDIMM 則涉及堆疊 DRAM 的容量設計。SK hynix、Micron 與 Samsung 的模組選項，必須以完整料號及 OEM 驗證表核對。DDR5-6400、DDR5-8000 與 DDR5-8800 不能脫離模組類型討論；尤其 8800 MT/s 的 MRDIMM，不應被誤寫成任何 DDR5 RDIMM 都可直接達到的速度。
MRDIMM：提高資料供給而非消除所有延遲
Micron 的 MRDIMM 資料把頻寬需求與高核心數 CPU 相連。多工緩衝設計有助提高資料傳輸能力，但不代表每一類延遲都會按相同比例降低。評估時應測量真實讀寫比例、工作集與並發；容量不足造成的分頁問題，也不能單靠提高傳輸速率解決。12,800 MT/s 等演進目標須與實際平台及可驗證模組分開描述。
SOCAMM2 與 HBM 並非互換零件
SOCAMM2 使用低功耗記憶體思路服務資料中心；Micron 的方案基於 LPDDR5X。它不是一般 RDIMM 的直接替換件。HBM3E 與 HBM4 則屬加速器附近的高頻寬記憶體路線，通常不是使用者可更換的 DIMM。把主記憶體容量與 GPU 顯存相加，亦不能假設兩者具有相同存取成本。資料放置策略仍是系統設計的一部分。
建議同時記錄容量餘量、持續頻寬、尾端延遲及功耗。先固定 CPU、韌體與電力設定，再調整記憶體配置，避免把多項改動誤判為單一模組效益。AI 場景還應觀察 GPU 等待資料的時間；若限制在儲存或網絡，增加主記憶體速度未必帶來相應改善。
延伸閱讀
Sources / References
資料核對日期：2026-09-07。文中型號為技術研究對象，不代表供應承諾；部署須按具體系統及軟件配置確認。