我们都知道普通的服务器是以 CPU 为算力的提供者,采用的是串行架构,在逻辑计算、浮点型计算等方面很擅长。因为在进行逻辑判断时需要大量的分支跳转处理,使得 CPU 的结构复杂,而算力的提升主要依靠堆砌更多的核心数来实现。
但是在大数据、云计算、人工智能及物联网等网络技术的应用,充斥在互联网中的数据呈现几何倍数的增长,这对以 CPU 为主要算力来源的传统服务提出了严重的考验,并且在目前 CPU 的制程工艺、单个 CPU 的核心数已经接近极限,但数据的增加却还在持续,因此必须提升服务器的数据处理能力。因此在这种大环境下,AI 服务器应运而生。
现在市面上的 AI 服务器普遍采用 CPU+GPU 的形式,因为 GPU 与 CPU 不同,采用的是并行计算的模式,擅长梳理密集型的数据运算,如图形渲染、机器学习等。在 GPU 上,NVIDIA 具有明显优势,GPU 的单卡核心数能达到近千个,如配置 16 颗 NVIDIA Tesla V100 Tensor Core 32GB GPUs 的核心数可过 10240 个,计算性能高达每秒 2 千万亿次。且经过市场这些年的发展,也都已经证实 CPU+GPU 的异构服务器在当前环境下确实能有很大的发展空间。