同有科技提供HBM替代方案,UCM(推理记忆数据管理器)。作为一款以KV Cache为中心的推理加速套件,UCM融合了多类型缓存加速算法工具,分级管理推理过程中产生的KV Cache记忆数据,可扩大推理上下文窗口,实现高、低时延的推理体验,降低每Token推理成本