编者按：在人工智能浪潮席卷全球的当下，我们往往将目光聚焦于英伟达的GPU算力霸权，却悄然忽略了另一个正在悄然崛起的“隐形战场”——内存。随着超大规模数据中心以数十亿美元的量级疯狂扩张，DRAM芯片价格在过去一年内暴涨约7倍，内存管理正从幕后走向台前，成为决定AI企业生死存亡的关键博弈。本文深度剖析了从芯片层到架构层的记忆革命：当Anthropic的提示词缓存文档从简洁说明演变为复杂定价策略百科全书，当5分钟与1小时的缓存窗口成为精打细算的生存博弈，一场关于“记忆经济学”的暗战已然打响。掌握内存编排艺术的企业，将能用更少的token撬动更大的价值，而这或许正是穿越AI寒冬的终极生存法则。
当我们谈论AI基础设施成本时，焦点通常集中在英伟达和GPU上——但内存正日益成为这幅拼图中至关重要的部分。随着超大规模云服务商准备建造价值数十亿美元的新数据中心，DRAM芯片的价格在过去一年里暴涨了约7倍。
与此同时，如何统筹调度所有这些内存，确保在正确的时间将正确的数据送达正确的智能体，正成为一门日益精深的学问。掌握这门技术的公司将能用更少的token完成相同的查询——这可能是企业倒闭与持续经营之间的天壤之别。
半导体分析师道格·奥洛克林在其Substack专栏中，与Weka公司首席AI官瓦尔·贝尔科维奇进行了一场精彩对话，深入探讨了内存芯片的重要性。两人都是半导体领域的行家，因此讨论更聚焦于芯片本身而非更广泛的架构；不过这对AI软件领域的影响同样极为深远。
其中一段关于Anthropic提示词缓存文档日益复杂化的分析尤其令人震撼：
最明显的迹象就是查看Anthropic的提示词缓存定价页面。六七个月前这还是个极其简单的页面，特别是在Claude Code刚推出时——基本就是“用缓存，更便宜”。现在它简直成了关于该预购多少缓存写入次数的建议百科全书。行业普遍提供5分钟层级，也有1小时层级——但绝不超过这个时限。这个细节极其重要。当然，根据预购的缓存写入量，围绕缓存读取定价还存在各种套利机会。
这里的核心问题在于Claude将你的提示词保留在缓存记忆中的时长：你可以付费获取5分钟窗口，或支付更高费用获得1小时窗口。调用仍在缓存中的数据要便宜得多，因此如果管理得当，你能省下巨额开销。但有个陷阱：查询中每新增一点数据，都可能将其他内容挤出缓存窗口。
这些机制虽然复杂，但结论足够清晰：AI模型的内存管理将成为未来人工智能发展的核心战场。精于此道的企业必将脱颖而出。
这个新兴领域仍有巨大进步空间。早在去年十月，我就报道过一家名为Tensormesh的初创公司，他们正致力于优化技术栈中称为“缓存优化”的关键层级。
技术栈的其他环节同样存在机遇。例如在底层架构中，数据中心如何高效利用不同类型的内存就是关键课题（访谈中精彩讨论了何时使用DRAM芯片而非HBM，尽管涉及较多硬件细节）。而在更高层的应用端，终端用户正在探索如何构建模型集群以充分利用共享缓存。
随着企业在内存编排方面愈发精进，它们将消耗更少的token，推理成本也会持续下降。与此同时，模型处理每个token的效率正在提升，进一步压降成本。当服务器成本突破临界点，许多当前看似不可行的AI应用将悄然迈入盈利的曙光。
