Agent 机器对内存的需求已经发生了重大结构性变化,随着代理式AI应用的快速扩张,系统对短期但大容量内存的需求显著增加。 SOCAMM,最初被视为专为NVIDIA设计的内存标准,也受到广泛关注,因为它可以让单一CPU或加速器平台配置达到TB级内存容量,使AI agent 能同时维持数百万个token的活跃状态。
SOCAMM的优势在于功耗效率和系统扩展性,它与HBM相比具有显著优势,但其带宽和吞吐量不及HBM。市场消息显示,AMD和高通正在评估以方形模块形式配置DRAM,并将PMIC(电源管理IC)直接整合到模块本体之上,使电源调节可以在模块端完成。
NVIDIA已计划在其Vera Rubin中引入新一代SOCAMM 2,并预计随着出货规模的扩大,SOCAMM将成为 AI 系统的重要内存配置之一。 SOCAMM的年度需求规划已经向DRAM厂商提呈,其中三星是主要供应来源,其次是SK海力士,美光则位居其后。
AMD和高通的决策让人关注:在下一代AI产品和机架架构中是否会引入SOCAMM内存模块。 SOCAMM将如何适应代理式AI架构的需求?这将如何影响行业的发展方向。
SOCAMM的优势在于功耗效率和系统扩展性,它与HBM相比具有显著优势,但其带宽和吞吐量不及HBM。市场消息显示,AMD和高通正在评估以方形模块形式配置DRAM,并将PMIC(电源管理IC)直接整合到模块本体之上,使电源调节可以在模块端完成。
NVIDIA已计划在其Vera Rubin中引入新一代SOCAMM 2,并预计随着出货规模的扩大,SOCAMM将成为 AI 系统的重要内存配置之一。 SOCAMM的年度需求规划已经向DRAM厂商提呈,其中三星是主要供应来源,其次是SK海力士,美光则位居其后。
AMD和高通的决策让人关注:在下一代AI产品和机架架构中是否会引入SOCAMM内存模块。 SOCAMM将如何适应代理式AI架构的需求?这将如何影响行业的发展方向。