Atlas 950 机柜数量大幅增加,达到8000张卡,已经远超384张卡的规模。机柜内和机柜间的互联全部采用光纤连接,主要以200G、400G为主,后期也会支持800G。卡间采用HCCS协议,组网方式为UB-Mesh。UB-Mesh是针对超大规模、上千节点的组网需求设计的,完全不同于传统的Spine-Leaf架构。传统组网在性能和成本上都有较大限制,因此采用UB-Mesh组网方式,可以保证集群中每八张卡为一组,实现灵活调配。每组之间采用三级架构连接,形成mesh型网络。
对于大规模集群,GB200要实现完全两两互联也很困难,需要对switch架构做调整。千卡集群规模下,UB-Mesh的组网方式更清晰,网络管理更好,性能也能充分发挥。GB200单机群72张卡乘以九个P,算力达到600多P,H公司要达到同样算力需要更多的卡,因此组网方式也会不同。
对于大规模集群,GB200要实现完全两两互联也很困难,需要对switch架构做调整。千卡集群规模下,UB-Mesh的组网方式更清晰,网络管理更好,性能也能充分发挥。GB200单机群72张卡乘以九个P,算力达到600多P,H公司要达到同样算力需要更多的卡,因此组网方式也会不同。