用户头像
妙新银BoomBust周期
 · 美国  

确认量产的话边际最受益$Globalfoundries(GFS)$

@妙新银BoomBust周期 :Gavin Baker之前评论英伟达收购Groq
• Decode阶段(逐token生成、autoregressive)是内存带宽受限(memory-bandwidth bound):每个token都需要快速从内存拉权重/激活,传统GPU靠外部HBM,带宽/延迟瓶颈严重,导致P99延迟高、tokens/s低。
• Groq的LPU/SRAM把权重主要放在on-chip SRAM(...