代理式AI应用的快速扩张带来内存需求的重大变化。 recent news 说明,AMD和高通也在探索SOCAMM内存模块,以改善系统弹性和成本效率。
这与NVIDIA的SOCAMM标准相比,SOCAMM采用更为模板化的设计,并且可以在容量、功耗和系统弹性的平衡上做出选择。这种变化是为了应对代理式AI中需要长时间维持上下文、状态和任务记忆,从而产生的大型内存需求。
industry insiders 表示,SOCAMM可以使单一CPU或加速器平台配置达到TB级的内存容量,使AI agent 可以同时维持数百万个token的活跃状态。虽然SOCAMM的带宽和吞吐量不及HBM,但在功耗效率和系统扩展性方面具有优势,被视为适合与HBM搭配使用的内存层级。
market 消息也显示,AMD和高通在SOCAMM的模块设计上可能采取与NVIDIA不同的路线。他们正在评估以方形模块形式配置DRAM,并将PMIC(电源管理IC)直接整合到模块本体之上,使电源调节可以在模块端完成。
product 进度方面,NVIDIA已经计划在其Vera Rubin中引入新一代SOCAMM 2,并预计随着出货规模的扩大,SOCAMM将成为 AI 系统的重要内存配置之一。
这与NVIDIA的SOCAMM标准相比,SOCAMM采用更为模板化的设计,并且可以在容量、功耗和系统弹性的平衡上做出选择。这种变化是为了应对代理式AI中需要长时间维持上下文、状态和任务记忆,从而产生的大型内存需求。
industry insiders 表示,SOCAMM可以使单一CPU或加速器平台配置达到TB级的内存容量,使AI agent 可以同时维持数百万个token的活跃状态。虽然SOCAMM的带宽和吞吐量不及HBM,但在功耗效率和系统扩展性方面具有优势,被视为适合与HBM搭配使用的内存层级。
market 消息也显示,AMD和高通在SOCAMM的模块设计上可能采取与NVIDIA不同的路线。他们正在评估以方形模块形式配置DRAM,并将PMIC(电源管理IC)直接整合到模块本体之上,使电源调节可以在模块端完成。
product 进度方面,NVIDIA已经计划在其Vera Rubin中引入新一代SOCAMM 2,并预计随着出货规模的扩大,SOCAMM将成为 AI 系统的重要内存配置之一。