液冷GPU服务器助推生成式AI跑出加速度

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长…全面赋能！

关注公众号获取更多资料

添加微信，备
注“入群”
立刻免费领取
200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音.....

扫码先加好友，以备不时之需

01人工智能行业分析

人工智能产业规模

据IDC数据，2022年全球人工智能收入同比增长19.6%，达到4328亿美元，包括软件、硬件和服务

2023年ChatGPT的爆火更为AI市场带来全新的机遇和挑战。随着推理工作负载在各行业应用中不断增加，高并发的数据计算无处不在，GPU在训练负载中具有绝对优势，同时高算力低能耗且适应各类复杂环境的芯片将更受关注。

人工智能产业图谱

人工智能用户层

城市公共事业

企业级客户

消费者

人工智能应用层

Al+泛安防

Al+医疗

对话式AI

AI+工业

Al+金融

Al+泛互联网

自主无人系统

Al+零售

人工智能基础层

AI训练框架

商用版AI应用模型效率化生产平台

AI开发平台

人工智能技术层

计算机视觉

语音识别

自然语言处理

机器学习

知识图谱

硬件基础设施层

数据存储设施

物联网与微型传感器

通信与信息网络

生成式AI的兴起

不同于区分式AI，生成式AI是一种利用算法自动生成、操纵或合成数据的技术，能够创造出原本不存在的事物，工作原理通常分为两个阶段：训练和生成。

而训练生成式Al模型是一项复杂任务，一般分为四个步骤：

数据收集数据预处理模型选择→模型训练这个过程需要大量计算资源和时间，必将引爆新一轮的算力需求。

生成式AI训练-生成工作流

生成式AI应用领域

图形图像

文学创作

游戏开发

人脸生成

图像修复

风格迁移

音乐创作

小说创作

新闻编辑

知识科普

剧情设计

地图设计

角色生成

科研教育

药物研发

细胞结构预测

编程教育

02坤前AI产品及方案

人工智能研发路线图

Processor

Segment/ Use Cases

Intel Xeon? Scalable Family

适用于面向对空间部署和高性能有要求的高性能计算、高端图形工作站等应用场景

适用于图形渲染、深度学习、天体物理、化学分子计算、云计算和虚拟化、计算密集型行业或应用

AMD EPYC? Family

适用于面向对空间部署和高性能有要求的高性能计算、高端图形工作站等应用场景

Server Product

2路机塔换式4GPU优化

KI4208G-MS2

2nd Generation Intel@ Xeon@ Scalable Processors

16 DIMMs

2020

·8×3.5”drives

dual10GbE

2200W1+1/1200W 1+1

2路4U机架8GPU优化

KI4200G-HS2

2nd Generation Intel@ Xeon@ Scalable Processors

24 DIMMs

·24×2.5” /3.5”drives

dual 10GbE

·2000W2+2/1200W冗余电源

2路塔式服务器

KA4208G-MS3

·3nd AMDEPYC7003

16 DIMMs

2021

2022

KI4208G-MS3

KI4200G-HS3

3rd Generation Intel@ Xeon@ Scalable Processors

3rd Generation Intel® Xeon@ Scalable Processors
24/36 DIMMs

KA4208G

4nd AMD EPYC7004

VGAGen3

Next Gen

2023

全面升级支持3rd Gen Intel?Xeon@ ScalableFamily

全面升级支持

4th AMDEPYC Family

坤前训练/推理服务器

高性能计算服务器-KI2212-MK2

KI2212-MK2服务器是一款为满足资源密集型应用开发的，基于新一代英特尔?至强?可扩展处理器平台设计开发的2U机架式服务器。模块化设计提高了产品的灵活性和易用性，适合更多弹性部署。

产品特点

采用基于IntelC622系列芯片组的双路服务器，支持双路的英特尔?至强?可扩展系列处理器；

处理器支持更多核心，支持AVX-512指令集处理器之间采用更多、更快的UPI总线，大幅提升CPU之间协作效率;

最大支持16DIMM，大幅提高内存带宽，更加适合图形渲染、多媒体编辑等处理工作;

最大支持12个3.5寸热插拔存储盘位，前置3.5寸盘可免工具安装；

最大支持3个PCle 4.0×16 Slots、3个PCle 4.0×8 Slots;

坤前模型训练服务器

高性能计算服务器-KI4200G系列

坤前KI4200G系列服务器是一款为满足对空间部署和高性能要求的高端图形工作站/服务器产品。基于英特尔?至强?可扩展处理器平台设计开发的4U双路机架式GPU服务器。在4U高度空间中可支持8片双宽或者20片单宽图形计算加速卡，该产品体现了性能、扩展性和密度的完美融合。

产品特点

最大支持2颗新一代英特尔?至强?可扩展处理器，可提供强大的计算能力

最大支持24 DIMM，6TB 3DS ECC DIMM/LRDIMM DDR4 2933MHz内

存，大幅提高内存带宽；

最大支持24个3.5寸或者24个2.5寸热插拔存储盘位;

最大支持8片双宽或者20片单宽业界主流专业GPU加速卡；

集成双万兆网络端口，支持链路汇聚以及绑定冗余功能，网络高速互联为

GPU计算集群提供了高密度、高性能的节点平台，适合多种应用需求标配；

·2000W2+2余电源；

坤前AI图形工作站

高性能计算服务器—KI4208G

坤前KI4208G服务器是一款为满足对空间部署和高性能要求的高端图形工作站产品。基于英特尔?至强?可扩展处理器，以及澜起-津逮系列处理器平台设计开发的塔式GPU服务器。在塔式空间中支持4片双宽NVIDIA图形计算加速卡，该产品体现了性能、扩展性和密度的完美融合。

产品特点

采用IntelC621A芯片组设计，提供了强大的系统IO带宽；

具备超强的专业显卡扩展能力，保证系统在高配置下的散热和稳定；

最大支持双路英特尔?至强?可扩展处理器

最大支持16DIMM，使用最新高性能内存，显著提高内存读写速率；

最大支持8个3.5寸热插拔存储盘位;

可支持4片双宽业界主流NVIDIA或IntelPhi专业GPU图形计算加速卡;

配合专业的机箱设计，保证系统在高配置下的散热和稳定的同时，可有效降低机器噪音。

坤前边缘计算服务器

边缘计算服务器-KI2200E-LK3

全新一代坤前KI2200E采用英特尔?新一代至强?可扩展处理器平台设计开发的2U双路超短机箱设计的边缘计算一体。

该机器采用异构计算架构，结合PCle4.0高速协议，让用户体验异构计算与PCle带宽，带来的高速计算效能，并实现客户的各种定制化需求

产品特点

采用IntelC621A芯片组，支持两颗英特尔?第三代至强?可扩展系列处理器；

8DIMM内存插槽，采用ECCDDR4设计速度高达3200MT/s，提高内存读写速率；

采用PCI-E4.0协议，x16双向带宽达到了64GB/s，以更高的速度完成总线数据传输；

最大支持4片单宽半高业界主流的异构计算卡，实现对边缘端计算应用的需求;

550W 1+1高能效比冗余电源;

坤前边缘计算服务器

边缘计算服务器-KI2204E-MK3

坤前KI2204E是一款基于新一代英特尔至强可扩展处理器的双路2U计算服务器，采用智能散热系统，根据热关键器件温度综合调节风扇转速，节能的同时降低了噪音并提高风扇的可靠性.

产品特点

最大支持2颗英特尔?至强?可扩展处理器，可提供强大的计算能力；

支持16DIMMDDR4内存插槽，最高可支持2933Mhz;

支持6个PCIE3.0扩展槽，性能更高，扩展性更强；

最大支持4片单宽半高业界主流的GPU计算加速卡，实现对边缘端计算应用的需求;

集成双千兆网络端口，支持链路汇聚以及绑定冗余功能，适合多种应用需求；

标配550W1+1冗余电源;

超短机箱【450mm(长）×438mm（宽）×88mm（高）】

坤前边缘计算服务器

边缘计算服务器—KI4208E

坤前KI4208E是一款基于新一代英特尔? 至强? 可扩展处理器，设计开发的双路高性能边缘计算产品。适用于面向智能制造、机器视觉的视觉分析、高端图形工作站等应用场景；例如：机器视觉、虚拟现实、图像分析、图形渲染、多媒体编辑、二维/三维设计、网络游戏处理等。

产品特点

支持双路的英特尔?至强?可扩展系列处理器；支持更多核心，采用更多、更快的UPI总线，大幅提升CPU之间协作效率；

可选SASRAID卡，支持RAID 0/1/5/6/50/60，支持Cache超级电容保护，提供RAID状态迁移、RAID配置记忆等功能；

最大8 DIMM内存插槽，2TB 3DS ECC LRDIMM/RDIMM DDR4 3200MHz,使用最新高性能内存，显著提高内存读写速率；

提供4个PCle4.0×16的扩展支持，最大支持2片双宽或4张单宽专业图形卡及计算加速卡;

集成双千兆RJ45网络端口，支持链路汇聚以及绑定冗余功能；

坤前AI集群管理平台

主流机器学习框架Tensorflow、Caffe、Torch、Keras...

坤前AI管理平台

集群部署

深度学习算法库

LeNet、MLSTM、Alexnet、Googlenet、ResNet、GAN、Faster R-CNN..

标准数据集
ImageNet、COCO、PASCAL
VOC、CIFAR、Open Image、
Youtube-8M.

Demo演示程序人脸识别门禁、手写数字识别、快速多目标识别

系统监控

文件管理

应用管理

镜像管理

存储管理

硬盘管理卷管理

APP in ContainerA

容器全生命周期管理

服务定义

服务部署

Pod定义

动态扩展

Pod启动

Pod销毁

GPU资源支持

权限管理

用户/组管理授权管理

容器层Docker

App in Container A

APP inContainerA

APP in Container A

APp in Container

高速万兆乙太网络

管理节点

计算节点

硬硬盘

计算节点

硬

产品特性

·支持可视化操作，降低了集群管理难度；

·支持资源按需分配，有效提高集群资源利用率；

预置丰富的软件环境，协助用户快速搭建应用；

·实时监控系统运行，有效保持系统的高可用状态；

提供完善的用户管理功能，构建安全、公平、灵活的计算环境；

坤前人工智能领域布局

智能安防

智能制造

智慧能源

智慧金融

车牌识别

违法识别

研发设计

驾驶证识别

模型仿真模型设计

身份证识别

智慧城市

人脸1：1比对

车牌支付

生产制造

缺陷检测

违规监控

经营管理

视觉引导

运维服务

数字化运营

供应链管理

故障预测

安全生产

车流分析

安全防范

安全卸油

ETC支付

智能客服

高性能计算

智能风控

智能营销

智能催收

智能监控

03坤前新品发布

高性能液冷GPU服务器

数据中心耗能现状

IT设备一直以来都是数据中心等数字化基建的能耗大头，主要包括服务器、网络等负责进行信息交换存储的设备，约占总体用能的40%左右。

随着由ChatGPT开启的生成式AI技术和产品持续落地，以大模型为代表的AI技术对于高性能计算提出了更高的要求。

同时，在双碳政策的要求下，通过限制高PUE值IDC入场来实现绿色计算目标。

PUE=数据中心总耗电/IT设备耗电

预计2026

大型及以上数据中心机架数量将达到802万个

中国的数据总量占全球数据总量的27.8%;

2021年

全国数据中心能源消耗达到2166亿千瓦时，较2020年增加44%，占全社会用电量2.6%左右;

二氧化碳排放量约1.35亿吨，较2020年增加3915万吨，占全国二氧化碳排放量的1.14%左右。

2020年

大型及以上数据中心机架数量

达到498万个

从风冷到液冷

风冷

带走热量

导热能力

噪音水平

耗电量

3000倍

25倍

降低

25-30分贝

节省

30%-50%

液冷

带走热量

导热能力

噪音水平

耗电量

热量带走更多

温度传递更快

噪音水平更低

耗电耗能更省

液冷：更高效率，更低能耗，是当下应对生成式AI、超密度计算的高算力缺口和“功耗墙”

的一场技术革命。

优势：超静音，可实现风冷所无法解决的250W以上功率的散热需求，显著降低数据中心PUE值

全新液冷GPU服务器

KI4200GLC

搭载新一代英特尔?至强?可扩展处理器，为用户各项应用提供更高性能。先进的风道设计，支持高效液冷套件，实现风液混合散热系统设计，保证机器高负载下的稳定运行。

双路Intel Xeon

18 *DDR4

12 * 3.5寸

2 * 1Gb RJ45

4 *PCle 4.0 *16
2 * PCle 4.0 * 8

7 * USB 3.0

800W1+1 (可选配1200W 1+1)

1 * M.2

RAID 0/1/5/6/50/60

更好更快更环保

KI4200GLC

灵活部署便捷运维

单节点部署，无需外循环，较整柜式而言部署更灵活灵活配置，最大支持8个3.5寸热插拔/SATA/SAS存储盘位。提供RAID状态迁移、RAID配置记忆等功能智能运维，搭载液晶显示屏，实时监测设备温度、冷却液压力、流量等

性能卓越稳定高效

最大支持2颗英特尔?至强?可扩展处理器，性能提升显著最大支持4片双宽计算加速卡，并对CAD、仿真模拟、

GCC渲染、GPU计算等应用进行了优化

最大支持16DIMMs，最大容量6T，大幅提高内存带宽，更加适合图形渲染、多媒体编辑等处理工作

绿色降碳节能环保

·风液式CDU散热，通过冷却液带走更多CPU和GPU热量

保证系统在高配置下散热和稳定的同时，可有效降低机器噪音

·可实现数据中心PUE降至1.1，显著降低空调系统和相应基础设施的投资，提高空间利用率

更好更快更环保

KI2212LC

支持图形渲染、多媒体编辑、3D建模、设计、动画、网络游戏处理等场景

可实现第三代英特尔? 至强R 可扩展处理器平台250W以上的散热需求

与传统风冷式相比，能耗降低约30%，噪音降低约25分贝

专业的机箱设计实现了并行计算性能、存储扩展性与节能环保的完美融合

单节点部署，无需外循环，较整柜式而言部署更灵活

04应用案例

坤前助力某人工智能公司生成式AI开发

坤前解决方案

针对客户需求，坤前计算机选择用液冷GPU服务器I4200GLC为该公司搭建AI算力集群。这是一款为满足对空间部署和高性能要求的机架式GPU服务器，，在提高了性能的同时，极大程度降低了数据中心的碳排放，专业的机箱设计实现了并行计算性能、存储扩展性与节能环保的完美融合。

在软件方面，则搭配了坤前AI管理平台，提供深度学习的算法库、标准数据集。
帮助用户提升算法训练速度。

项目建设需求

生成式AI的爆火开启了以大数据、大模型、高算力为基础的人机交互新时代，相关技术的开发需要对拥有海量参数的超大规模模型进行训练，对应的便是需要大量高性能AI算力进行支撑，因此搭建更强的算力集群必不可少。

客户收益

》满足了飞速增长的训练算力需求，保障了客户项目的开发进度；

与传统风冷相比，能耗降低约30%，噪音降低约25分贝；

》CPU资源、内存、GPU资源、存储资源虚拟化后进行统一管理，方便快捷；

坤前助力某研究院科研工作提质增效

项目建设需求

科研工作需要更加智能化及快速的计算集群，硬件设备的提升迫在眉睫;

数据量的增长对于存储有更高的要求，需要搭配高扩展性的存储空间;

客户收益

平台计算性能成倍提升，系统反应迅速，提高系统反应速度；

建立分布式数据存储空间，方便扩容；

液冷散热，大大降低设备能耗；

坤前解决方案

针对客户现阶段所面临的挑战，坤前选用液冷GPU服务器KI4200GLC构建核心算力集群，坤前KI4200GLC是专为计算密集型行业所设计，在提高了性能的同时，极大程度降低了数据中心的碳排放，可以高效为各类云端工作负载提供加速，强大的计算能力提供了卓越的性能输出。

同时坤前选用4U存储服务器KI4236MS构建专业存储集群，坤前KI4236MS是一款灵活高效的企业级存储服务器，支持36个3.5寸热插拔硬盘，实现了最高576TB海量存储空间，将存储性能、可拓展性、易维护性完美融合。

迈向工业4.0坤前助力客户智能化转型

坤前人工智能一体化解决方案

在硬件方面：坤前选择了用AI服务器KI4224G为该数据中心的计算集群的核心设备，该机器高性能、高可靠、高灵活性等特点，能够充分满足前端图片数据进行二次存储的容量需求;

在软件方面：坤前深度学习平台在底层系统的驱动和软件库层面进行了足够的性能优化，充分发挥出了专业加速卡的集群性能，并且能够针对不同的深度学习框架，通过镜像定制和分发平台，帮助用户定制化镜像和应用；

项目建设需求

某知名半导体企业急需为生产线检测与分析系统建立数据中心，以满足生产前端大量实时图像分析与残次品图片二次存储的需求；

客户收益

大幅提升生产效能，坤前KI4224G可在极短的时间内对数千张图片进行快速识别，且运行稳定，为生产线的高效运转提供了有力支撑；

坤前软硬件一体化人工智能解决方案，使计算资源得到充分利用，大幅降低客户总体拥有成本；

坤前国家重点高校保驾护航

坤前解决方案

在硬件选型上，坤前以KI2208为管理节点，KI4224G为计算节点，在4U高度空间中选用10张RTX3090，且对CAD、仿真模拟、GCC渲染、GPU计算等应用进行了优化，以满足图形处理的极致需求和并行计算的加速应用。在扩展方面，提供PCle4.0×16的扩展支持，可满足学院不同研究项目的扩展需求。

软件方面，坤前集群管理平台提供一键式自定义部署，同时支持在已有集群上一键式扩容，可实现CPU、GPU等服务器资源使用状态以及集群状态实时监控。

项目建设需求

由建设稳定可靠的计算集群，同时将现有服务器融入集群；

弹性扩展集群内的存储资源，且能够实现跨节点资源共享；

强大的IO吞吐能力和高速网络带宽；

存在集群资源监管不及时的状况，需要集群管理系统能随时远程登录查看集群状态，同时具有完善的用户及任务队列管理机制。

客户收益

可通过Web界面的管理系统详细了解硬件实时状态，高可视化在提高监管能力的前提下也降低了学院的运维成本。

合理分配了集群资源，优化升级了IT资源的利用率，在提高系统稳定性的前提下保障GPU效能的高效发挥。

感谢观看！

坤前公众号

坤前视频号

群内每日免费分享5份+最新资料

300T网盘资源+40万份行业报告

为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长…全面赋能！

关注公众号获取更多资料

添加微信，备
注“入群”
立刻免费领取
200套知识地图+最新研报

致终身学习者社群

行业报告/思维导图/电子书/资讯情报

液冷 GPU 服务器助推生成式 AI 跑出加速度-坤前计算机技术中心总经理 陈武-30页-WN5

液冷 GPU 服务器助推生成式 AI 跑出加速度-坤前计算机技术中心总经理陈武-30页-WN5