AI超节点Scale Up域总线各层优化设计采用普遍的类PCIE三层架构模型进行分析如下抛砖引玉斧正为雅一、物理层物理层向上为数据链路层提供数据收发服务向下通过 SerDesSerializer/Deserializer串行通道与对端连接。物理编码子层Physical Coding SublayerPCS完成数据的 FECForward Error Correction编解码和扰码。在发送方向上 PCS 从数据链路层接收数据对其进行 FEC 编码和加扰后发送给 PMA在接收方向上 PCS 从 PMA 接收数据完成解扰和 FEC 译码后将数据发送到数据链路层。物理媒介适配子层Physical Medium AttachmentPMA从串行通道上收发比特流完成时钟恢复、信号调制解调、格雷编码、预编码、并串转换等功能支持物理编码子层通过介质无关方式与多种物理链路连接。链路状态管理通过链路管理状态机实现链路训练及链路故障恢复功能完成链路两端的速率、链路宽度、均衡参数及编码模式等的协商。成功完成链路训练后物理层可以向数据链路层提供数据收发服务。serdes编码方式逐步升级提升单链路速率--NRZ~25.6Gbps PAM4~112Gbps/224GbpsSerdes多链路绑定提升通道带宽 -x2、x4、x8轻量级FEC降低延时-随着FEC纠错能力增强时延数十ns级逐渐增加二、链路层数据链路层负责数据的可靠传输、错误控制与链路管理采用 CRC 校验也可以有FEC和选择性重传机制LLR。采用 FLITflow control digit 作为基本传输单元基于信用机制CBFC (credit-based flow control)的双向流量控制防止接收端缓冲区溢出确保链路高效利用。数据链路层特性参数N系• 最小传输单元128-bit Flit16 字节• 数据包组成Header Flit Payload Flit• 数据包长度1∼18 Flit16B∼288B• 链路层错误校验25-bit CRC• VC2 个VC0 高优 / VC1 大数据使用定长的FLIT的作为基本传输单元有如下几个优势避免使用重量级FEC纠错方式提高带宽利用率降低传输开销降低时延轻量级FEC链路级重传LLR精确重传FLIT而不是整个TLP相比TLP调度更精细化流控和负载均衡CBFC (credit-based flow control)和LLRLink Level Retry在我们常用的PCIE总线中有应用FLIT的应用与数据通行中常见的信元交换属于同类技术。三、事务层事务层核心任务是将GPU或CPU要执行的操作封装成标准的数据包通过标准链路发送出去。执行数据包的封装/拆封、数据事务类型的转化包括内存读写、原子操作、地址翻译、一致性操作等、为集合通信提供协议基础。事务层优化统一内存方便设备间互相访问内存内存语义简化编程模型减少消息通信拷贝-封装-传输-解封-拷贝等,提升通信效率集合通信使进程间的数据交换、同步或聚合更简单高效