PCIe(peripheral component interconnect express)是一种高速串行计算机扩展总线标准,是英特尔公司在2001年提出来的,它的出现主要是为了取代AGP接口,优点就是兼容性比较好,数据传输速率高、潜力大。
SXM是英伟达公司设计出来的,它的出现主要是为高性能计算和数据中心提高更强的计算能力和传输速度。SXM接口的GPU通常是存在于DGX系统板上,该DGX系统板支持4张GPU-SXM或则8张GPU-SXM,而每个GPU之间通过NVLink进行通信。
1.NVIDA GPU-SXM讲解
NVIDA GPU-SXM主要是针对英伟达的高端GPU服务器,NVIDA GPU-SXM和NVIDA GPU-PCIe这两种卡都能实现服务器的通信,但是实现的方式是不一样的。SXM规格的一般用在英伟达的DGX服务器中,通过主板上集成的NVSwitch实现NVLink的连接,不需要通过主板上的PCIe进行通信,它能支持8块GPU卡的互联互通,实现了GPU之间的高带宽。
这里说的NVLink技术不仅能够实现CPU和GPU直连,能够提供高速带宽,还能够实现交互通信,大幅度提高交互效率,从而满足最大视觉计算工作负载的需求。
2.NVIDA GPU-PCIe讲解
把PCIe GPU卡插到PCIe插槽上,然后和CPU、同一个服务器上其他的GPU卡进行通信,也可以通过网卡与其他的服务器节点上的设备进行通信,这种就是PCIe的通信方式,但是这种传输速度不快。如果想要和SXM一样,有很快的传输速度,可以使用NVlink桥接器实现GPU和CPU之间的通信,但是和SXM不一样的地方就是它只能实现2块GPU卡之间的通信。
3.两者的差异
性能
由于SXM使用了NVLink的技术,与传统的PCIe系统解决方案相比,它能够实现显存和性能拓展,性能方面要比PCIe强得多。
我们来看看A100 80G SXM和A100 80GB PCIe的对比
我们可以从图3中可以看出A100 80G SXM的GPU显存带宽是2039GB/S,而A100 80G PCIe的显存带宽是1935GB/S,SXM的带宽是高于PCIe的带宽。
PCIe版本可以通过lvlink桥接器来达到相同带宽,但是PCIe只能实现2块GPU卡之间的通信,而SXM能够实现而可以实现4GPU或则8GPU之间的通信。
接口类型
SXM是专为GPU设计的接口,而PCIe是一种通用的计算机总线接口。
连接方式
SXM接口是基于NVLink技术的互联方式,能够实现多个GPU直接互联。而PCIe接口是一个相对通信的协议,相比SXM来说,传播速度会慢一些。
带宽和延迟
SXM接口采用了NVLink的技术,可以提供更高的带宽和更低的延迟,可以加快GPU之间的数据传输。PCIe接口的带宽和延迟相对来说,会低一些。数据传输速度没有SXM接口那么快。
维护性
由于SXM的出现,是具有针对性的,是专门为GPU设计的接口,所以能提供更好稳定性和可靠维护性,减少系统故障发生的可能性,而PCIe是通用型接口,会容易受到系统中其他设备的影响,影响到系统的稳定性和可靠性。
4.超微支持的设备(H800为例)
Supermicro 拥有四款支持 H800-GPU-SXM 平台
Supermicro 拥有三款支持 H800-GPU-PCIe 平台
5.总结
大家可根据自己的应用需求和系统配置,在预算内,选择相对应的接口类型。