亚马逊是第一个将3D Torus 架构改成CLOS Full MESH的公司

Torus的各节点互联的跳数差异太大2-20跳，满足不了MoE模型的稀疏全等权的通信诉求。谷歌的TPUv8转向Switched（CLOS full MESH）也是大概率了，除非谷歌又发明一个比MoE还牛逼的算法框架。CLOS是光模块的福音；Torus是OCS的福音，OCS因Torus而生。

$谷歌A(GOOGL)$ $亚马逊(AMZN)$