LoopDNS资讯播报
🪶当 AI 处理多步推理的复杂任务时，产生大量 KV Cache，英伟达在本次 CES 上首次完整披露了推理上下文内存存储平台，在 GPU 内存和传统内存之间创造新的网络连接--一个独立高速的“记忆层”。该平台使用Spectrum-X 以太网提供高性能网络，同时配置 BlueField-4 的 DPU（内部集成了单端口800Gb/s的CX-9 的网卡），每个 DPU 后端接有150TB的上下文内存。通过这种设计，每个 GPU 除了自身的 HBM，还能额外获得16TB的分布式上下文存储。 底层硬件变革会带动软件重构GPU…
