最近几个月，代理式AI应用的快速增长导致了AI系统对内存的需求发生了深刻的变化。现在，AMD和高通也开始关注这种转变，甚至在下一代AI产品和机架架构中考虑引入SOCAMM内存模块。
SOCAMM最初是为NVIDIA设计的内存标准，与传统的焊接在主板上的LPDDR不同。它采用了模块化设计，具有可更换、可升级和平衡容量、功耗和系统弹性，这使得它成为 Industry 的关注点。
代理式AI架构需要保持长时间上下文、状态和任务记忆，而这导致了对短期但大容量内存的需求显著增加。与单纯依赖HBM相比，SOCAMM被广泛认为可以满足成本、功耗和容量之间取得平衡的内存设计。这使得它成为一种更合理的选择。
相关人士表示，SOCAMM可以让单一CPU或加速器平台配置达到TB级内存容量，使AI agent 能维持数百万个token的活跃状态。虽然其带宽和吞吐量不及HBM，但在功耗效率和系统扩展性方面具有优势，被视为适合与HBM搭配使用的内存层级。
AMD和高通正在评估SOCAMM模块设计，可能采用不同的路线。他们正在考虑以方形模块形式配置DRAM，并将PMIC直接整合到模块本体之上，使电源调节可以在模块端完成。这可能会给NVIDIA带来新的竞争优势。
NVIDIA已经计划在其Vera Rubin中引入新一代SOCAMM 2，并预计随着出货规模的扩大，SOCAMM将成为AI 系统的重要内存配置之一。该公司还向DRAM厂商提出了SOCAMM的年度需求规划，其主要供应商包括三星、SK海力士和美光。
这是一个具有重要意义的转变，代理式AI应用将对SOCAMM产生重大影响。
SOCAMM最初是为NVIDIA设计的内存标准，与传统的焊接在主板上的LPDDR不同。它采用了模块化设计，具有可更换、可升级和平衡容量、功耗和系统弹性，这使得它成为 Industry 的关注点。
代理式AI架构需要保持长时间上下文、状态和任务记忆，而这导致了对短期但大容量内存的需求显著增加。与单纯依赖HBM相比，SOCAMM被广泛认为可以满足成本、功耗和容量之间取得平衡的内存设计。这使得它成为一种更合理的选择。
相关人士表示，SOCAMM可以让单一CPU或加速器平台配置达到TB级内存容量，使AI agent 能维持数百万个token的活跃状态。虽然其带宽和吞吐量不及HBM，但在功耗效率和系统扩展性方面具有优势，被视为适合与HBM搭配使用的内存层级。
AMD和高通正在评估SOCAMM模块设计，可能采用不同的路线。他们正在考虑以方形模块形式配置DRAM，并将PMIC直接整合到模块本体之上，使电源调节可以在模块端完成。这可能会给NVIDIA带来新的竞争优势。
NVIDIA已经计划在其Vera Rubin中引入新一代SOCAMM 2，并预计随着出货规模的扩大，SOCAMM将成为AI 系统的重要内存配置之一。该公司还向DRAM厂商提出了SOCAMM的年度需求规划，其主要供应商包括三星、SK海力士和美光。
这是一个具有重要意义的转变，代理式AI应用将对SOCAMM产生重大影响。
SOCAMM这种新型内存标准可能就能让我们解决这个问题了？不过我还是不太相信，NVIDIA怎么能保证不再把所有的资源都集中到自己身上呢？ 话说 AMD 和高通的合作真好啊 
可是这些人也不是很透明，到底会采用什么样的设计方案？还是会像之前那样被 NVIDIA 拒绝了？ 
SOCAMM 内存模块 
Really like ! 
NVIDIA 和 AMD 都在研究这种新技术！ 
GPU 和 CPU 的性能会有大幅度提升！ 
我想如果能更快地开发SOCAMM 模块，可能就能让AI应用跑得更快了呢！ 
可以实现 TB 级内存容量的单CPU 或 加速器平台 
really wow ! 
这对 AI Agent 的应用价值就是非常高的，它可以维持数百万个 token 的活跃状态。虽然 SOCAMM 的带宽和吞吐量不及 HBM，但在功耗效率和系统扩展性方面确实具有优势！ 
这个技术进步对我们未来的 AI 发展一定会有非常大的影响！ 
。现在 我们用的 LPDDR 硬件好像就要被SOCAMM 刷走了，甚至 NVIDIA 都在准备下一代 SOCAMM 2 
。如果 SOCAMM 能够满足成本、功耗 和 容量之间取得平衡的设计，我觉得它将会成为 Industry 中的关键内存解决方案 
。
。 SOCAMM 可以满足成本、功耗和容量之间取得平衡，这是目前 industry 上需要的 
。
。
SOCAMM 通过采用模块化设计，提供了更好的平衡性，能够满足成本、功耗和系统弹性之间的 trade-off。 
在目前的发展趋势下，我很乐观地认为 SOCAMM 将在未来的 AI 应用中发挥更大作用。 
... SOCAMM 这个内存标准要好到让 AMD 和高通都在关注它 
... 我觉得如果 SOCAMM 能够满足成本、功耗和容量之间取得平衡的内存设计，那么它就一定会成为 Industry 的焦点 
... 不知道现在的 AI 系统能不能用 SOCAMM 来维持数百万个 token 的活跃状态