用户头像
爱回报小彩虹
 · 广东  

$七牛智能(02567)$ 要承接AI推理需求并不容易,需要在生产环境中不断降低模型推理请求的端到端延迟、提高吞吐率,快速响应用户或业务系统的请求,在高请求压力(QPS——每秒请求数)和TPM吞吐率的要求下,推理算力需求远超训练