HPE ProLiant DL360 Gen9服务器

DL360服务器外观

前面板

HPE ProLiant DL360 Gen9服务器是通用型1U机架式服务器,提供了不错的计算能力和高密度存储(目前SSD存储技术已经向微型化发展,所以即使1U服务也能提供非常高的存储容量)。

../../../../_images/hpe_dl360_gen9_front.png

标准配置是采用 8 个SFF,也可以订购不同 存储设备规格 组合,其中比较有特色的是:

  • 4 SAS/SATA (Drive 1-4)+6 NVMe (Drive 5-10)

我觉得可以配置成:

  • Drive 1-2 采用常规SATA SSD (企业级SAS SSD价格惊人,个人无法承受)

    • 方法一: 双盘组成RAID1,构建操作系统,确保本机服务器始终可用

    • 方法二: 两个SSD磁盘分别用于文件系统不同职责,例如数据和log分离,加速ZFS/Btrfs的性能

  • Drive 3-5 采用大容量 HDD ,构建基于 Gluster Atlas 的镜像近线存储,提供NAS文件存储功能

    • 采用大容量的机械磁盘可以降低存储成本,并且对于连续写入的大文件,机械磁盘性能在可接受范围

    • 注意 机械硬盘(HDD)磁头PMR、CMR、SMR的区别和选择 ,应该购买CMR结构的HDD,并尽可能选择CMR大容量磁盘(小规格CMR HDD已经和SSD价格相近毫无优势)

  • (取消这条建议,原因见后)Drive 6-8 采用 SATA SSD,通过虚拟化构建 Ceph Atlas 存储集群,提供整个虚拟化 OpenStack Atlas 分布式存储,实现云计算底层存储

企业级服务器的部件价格是家用计算机部件的2倍价格,例如同样1T容量的NVMe家用型只需要600元,但是U.2接口的NVMe SFF存储(2.5” NVMe SSD)则售价在1200~1800元,对于组件模拟分布式存储,还是推荐采用家用NVMe设备(转接卡+M.2 NVMe)。此外,根据资料,要在 Drive 5-10 使用 U.2 接口的NVMe SSD需要满足:

  • 使用专用背板(价格非常昂贵)

  • 内部改造连线,从PCIe接口引出联线

注解

实际上我最终没有采购CMR HDD机械磁盘,因为我发现目前由于磁记录技术停滞发展,已经没有超过2T规格的CMR HDD了。小规格HDD售价和SSD相差无几,性能又大为落后,所以如果要实现高性能分布式集群,还是采用 NVMe SSD实现更佳。

目前我先临时采用旧有的500GB HDD磁盘来模拟实验,并且采购 PCIe 3.0 slot 转接 4个 3个NVMe SSD磁盘(原因是 DL360 Gen9 PCIe bifurcation 只能在slot1上设置,并且只支持分成2个 x8,导致加上 slot 2,我只能安装3个NVMe - 三星PM9A1 NVMe存储 ),来实现高性能 Ceph Atlas 集群:

后面版

../../../../_images/hpe_dl360_gen9_back.png

值得关注点:

  • 板载集成4端口千兆网卡,可以组建network bonding实现高速网络交换,或者可以尝试实践一个以Linux为基础的高速交换网络,学习SDN技术

  • 可选的FlexibleLOM bay可以安装附加的4口网卡,扩展性更强的交换网络 (建议采购,因为主板自带的Broadcom NetXtreme BCM5719不支持 SR-IOV ,而配套的 FlexibleLOM 4口网卡是 Intel I350千兆网卡,可以完美支持Intel主推的 SR-IOV 技术,用于部署更多采用IOMMU/SR-IOV的虚拟机)

  • 电源可能需要购买高功率,因为如果使用高性能CPU没有大功率电源支持会导致不稳定 - 我最后订购了800w规格,目前使用下来比较稳定,后续观察GPU运行情况再补充

内部

../../../../_images/hpe_dl360_gen9_inside.png

重点:

  • 主板内部提供了Micro-SD卡接口,功能待查

  • 支持2种存储卡: HPE Flexible Smart Array 和 Smart HBA,型号是 H240ar 和 P440ar

  • PCIe 规格是 3.0,需要注意插槽1和2和处理器1关联,插槽3和处理器2关联

  • 提供了2个主板SATA控制器插口

  • 主板内建4个千兆网口,使用的是 Broadcom BCM5719 网卡芯片

  • 可选4口千兆 FlexibleLOM Bay 网卡(有多种规格,千兆、万兆和25Gb各种),常见的是Intel 4口千兆网卡 HP Ethernet 1Gb 4-port 366FLR Adapter (部件编号 665240-B21) (从淘宝购买二手服务器时,这块可选网卡被拆除了,需要单独购买 220 元)

../../../../_images/hpe_dl360_gen9_mainboard.png
HPE ProLiant DL360 Gen9 主板组件

编号

描述

1

FlexibleLOM connector

2

Primary (processor 1) PCI riser connector

3

NMI jumper

4

System maintenance switch

5

Front VGA/USB 2.0 connector

6

x4 SATA port 1

7

x4 SATA port 2

8

Backplane presence detect connector

9

Optical/SATA port 5

10

SATA port 4

11

Front power/USB 3.0 connector

12

HPE Smart Storage Battery connector

13

Optional Location Discovery Services connector

14

Drive backplane power connector

15

microSD card slot

16

Dual internal USB 3.0 connector

17

Smart Array/HBA connector

18

Secondary (processor 2) PCI riser connector

19

System battery

20

TPM connector

21

Optional serial port connector

PCIe

PCIe 通道是和CPU连接的,主机受限于处理器并不能添加过多的PCIe插槽(添加过多也只是分享cpu通道,反而无法获得最高速度)。不过,对于 Intel C610系列主板芯片 也就是X99平台,支持2个志强处理器,所以可以通过将不同的PCIe分别连接到2个处理器获得全速运行性能。需要注意,在 HPE ProLiant DL360 Gen9 Server QuickSpecs 明确指出主机所支持到3个PCIe slot,其中 PCIe slot 1-2 连接CPU 1,而 PCIe slot 3 连接到CPU 2 :

  • 由于DL 360是一个1U的紧凑型机架服务器,所以需要使用 PCIe 3.0 riser for PCIe slot X 也就是PCIe扩展板,将插槽由垂直转为水平。需要注意的是,DL 360默认配置只提供了 Primary PCIe 3.0 riser for PCIe slot 1 & 2 (对应CPU 1) ,而第二块PCIe扩展板 Secondary PCIe 3.0 riser for PCIe slot 3 (requires CPU 2) 需要另外购买

  • 只有购买了 Secondary PCIe 3.0 riser for PCIe slot 3 (requires CPU 2) 才能充分发挥DL 360的PCIe性能,也就是把PCIe数据访问分担到两个CPU上,性能最佳

  • 我推测如果购买并安装第二块PCIe扩展板,实际上DL360可以安装2块 PCIe 3.0 x16 的显卡,理论上可以组建一个性能更强 深度学习硬件指南 平台 (不过,因为PCIe插槽有限,我最终用slot1+slot2安装 NVMe存储 ,slot3安装 Nvidia Tesla P10 GPU运算卡 。很可惜,扩展性不足,后续有机会要采购扩展性更好的服务器,组件GPU集群 )

  • 根据 HPE ProLiant DL360 Gen9 Server - Option Parts 可以查询到上述第二块PCIe riser扩展板部件:

    • HP DL360 Gen9 Low Profile PCIe Slot CPU2 Kit 部件编号是 764642-B21 在淘宝上能够找到价格为400元 (已买,已成功转接安装 Nvidia Tesla P10 GPU运算卡 )

    • HP DL360 Gen9 Full Height PCIe Slot CPU2 Kit 部件编号是 764644-B21 (淘宝上没有,ebay上售价极高,放弃)

FlexibleLOM Adapter

可选的 FlexibleLOM Bay 网卡有多种规格,千兆、万兆甚至25Gb。常见的是Intel 4口千兆网卡 HP Ethernet 1Gb 4-port 366FLR Adapter (部件编号 665240-B21) 。

不过我从淘宝购买二手DL360服务器,这块可选网卡被拆除了,需要单独购买 220 元。虽然有些小贵,但是考虑到不用占用服务器宝贵的PCIe插槽,并且是Intel网卡芯片,可以结合Intel开发的驱动以及DPDK技术加速网络虚拟化性能,我准备用来构建Linux交换设备,来连接我的多个 Raspberry Pi Cluster ,实现混合架构 Kubernetes Atlas

内部改造

注解

这个内部改造暂时放弃,我计划购买二手Cisco交换机来实践企业网络组网

考虑到DL360服务器内部有一些尚未利用到空间,我准备将 树莓派Raspberry Pi 4Jetson Nano 安装到DL 360内部,结合上述Intel 4口千兆网卡所构建的Linux交换机,组建成一台混合架构模拟集群的服务器。

配置

HPE ProLiant DL360 Gen9 服务器综合配置介于 Dell R630服务器Dell PowerEdge R640服务器 之间:

HPE ProLiant DL360 Gen9 支持E5-2600 v3/v4处理器

Model

Model

Cores

L3 Cache

Power

QPI

DDR4 Hz

E5-2699v3

E5-2699v3

18

45MB

145 W

9.6 GT/s

2133

E5-2698v3

E5-2698v3

16

40MB

135 W

9.6 GT/s

2133

E5-2697v3

E5-2697v3

14

35MB

145 W

9.6 GT/s

2133

E5-2695v3

E5-2695v3

14

35MB

120 W

9.6 GT/s

2133

E5-2690v3

E5-2690v3

12

30MB

135 W

9.6 GT/s

2133

E5-2687Wv3

E5-2687Wv3

10

25MB

160 W

9.6 GT/s

2133

E5-2683v3

E5-2683v3

14

35MB

120 W

9.6 GT/s

2133

E5-2680v3

E5-2680v3

12

30MB

120 W

9.6 GT/s

2133

E5-2670v3

E5-2670v3

12

30MB

120 W

9.6 GT/s

2133

E5-2667v3

E5-2667v3

8

25MB

135 W

9.6 GT/s

2133

E5-2660v3

E5-2660v3

10

25MB

105 W

9.6 GT/s

2133

E5-2650v3

E5-2650v3

10

25MB

105 W

9.6 GT/s

2133

E5-2650Lv3

E5-2650Lv3

12

25MB

65 W

9.6 GT/s

2133

E5-2643v3

E5-2643v3

6

20MB

135 W

9.6 GT/s

2133

E5-2640v3

E5-2640v3

8

20MB

90 W

8.0 GT/s

1866

E5-2637v3

E5-2637v3

4

15MB

135 W

9.6 GT/s

2133

E5-2630v3

E5-2630v3

8

20MB

85 W

8.0 GT/s

1866

E5-2630Lv3

E5-2630Lv3

8

25MB

55 W

8.0 GT/s

1866

E5-2623v3

E5-2623v3

4

10MB

105 W

8.0 GT/s

1866

E5-2620v3

E5-2620v3

6

15MB

85 W

8.0 GT/s

1866

E5-2609v3

E5-2609v3

6

15MB

85 W

8.0 GT/s

1600

E5-2603v3

E5-2603v3

6

15MB

85 W

6.4 GT/s

1600

E5-2699v4

E5-2699v4

22

55MB

145 W

9.6 GT/s

2400

E5-2698v4

E5-2698v4

20

50MB

135 W

9.6 GT/s

2400

E5-2697v4

E5-2697v4

18

45MB

145 W

9.6 GT/s

2400

E5-2697Av4

E5-2697Av4

16

40MB

145 W

9.6 GT/s

2400

E5-2695v4

E5-2695v4

18

45MB

120 W

9.6 GT/s

2400

E5-2690v4

E5-2690v4

14

35MB

135 W

9.6 GT/s

2400

E5-2687Wv4

E5-2687Wv4

12

30MB

160 W

9.6 GT/s

2400

E5-2683v4

E5-2683v4

16

40MB

120 W

9.6 GT/s

2400

E5-2680v4

E5-2680v4

14

35MB

120 W

9.6 GT/s

2400

E5-2667v4

E5-2667v4

8

25MB

135 W

9.6 GT/s

2400

E5-2660v4

E5-2660v4

14

35MB

105 W

9.6 GT/s

2400

E5-2650v4

E5-2650v4

12

30MB

105 W

9.6 GT/s

2400

E5-2650Lv4

E5-2650Lv4

14

35MB

65 W

9.6 GT/s

2400

E5-2643v4

E5-2643v4

6

20MB

135 W

9.6 GT/s

2400

E5-2640v4

E5-2640v4

10

25MB

90 W

8.0 GT/s

2133

E5-2637v4

E5-2637v4

4

15MB

135 W

9.6 GT/s

2400

E5-2630v4

E5-2630v4

10

25MB

85 W

8.0 GT/s

2133

E5-2630Lv4

E5-2630Lv4

10

25MB

55 W

8.0 GT/s

2133

E5-2623v4

E5-2623v4

4

10MB

85 W

8.0 GT/s

2133

E5-2620v4

E5-2620v4

8

20MB

85 W

8.0 GT/s

2133

E5-2609v4

E5-2609v4

8

20MB

85 W

6.4 GT/s

1866

E5-2603v4

E5-2603v4

6

15MB

85 W

6.4 GT/s

1866

E5-2699Av4

E5-2699Av4

22

55MB

145 W

9.6 GT/s

2400

注解

不过从淘宝可以看到 LRDIMM 内存目前非常昂贵,不如 RDIMM内存 性价比高。不过,技术发展迅速,或许未来也可能进入二手市场的高性价比范围。

存储

DL360服务器有两种大小规格的磁盘 - 4LFF(3.5”) 和 8SFF(2.5”)/10SFF(2.5”)

我购买的二手DL 360是常见的8FF配置版本,其数据盘位置如下:

../../../../_images/hpe_dl360_gen9_disks.png

可以扩展到10SFF配置(需要另外购置一个 HP DL360 Gen9 2SFF SAS/SATA Universal Media Bay Kit 764630-B21 (约230-300元) 以安装第9-10磁盘)

../../../../_images/hpe_dl360_gen9_10disks.png

10SFF配置有一种性能极致的配置: HP DL360 Gen9 6 NVMe + 4 SAS/SATA Express Bay Enablement Kit  817676-B21 背板替换后,可以支持 4个SAS/SATA 加上 6个NVMe (U.2接口)设备,但是这个配件的价格约在 800 刀到 1000 刀,并且万能淘宝也找不到,只有海外直购,所以并不现实。

注解

由于 4SAS/SATA + 6NVMe 的扩展模块售价极高,对于二手设备已没有可能。所以如果要通过NVMe存储充分发挥DL 360服务器性能,可行的方法是采用PCIe转M.2 NVMe,实现高性能 Ceph Atlas 存储,用于 OpenStack Atlas 构建云计算集群。

存储控制器

主板内置存储控制芯片: HPE Dynamic Smart Array B140i控制器 (对于E5-2600v3 CPU处理器,主板集成的B140i只能工作在UEFI模式)。默认B140i设置为AHCI模式,如果要使用SATA only模式则需要配置激活。

支持2种阵列卡:

  • H240ar 阵列卡,适合少量硬盘,只支持RAID 0和1模式,硬盘也可以设置为无阵列模式

  • H440ar 阵列卡,配置2G缓存和电池,支持多硬盘RAID 5,6,10,50,60等模式,硬盘也可以设置为无阵列模式

HP官方支持网站提供了部件安装视频指南,例如 HP Smpart Array Controller 介绍了如何替换阵列卡。其他组件的安装替换也有相应指导,非常方便

注解

现代云计算已经采用 Gluster AtlasCeph Atlas 这样的分布式存储来替代早期的RAID存储技术,所以我的不使用硬件RAID设备,没有购买相应的阵列卡。

电源支持

  • 500W标配

  • 800W - 考虑到后续将升级添加显卡(耗能大户)以及满配多个存储设备,所以在购买二手DL360时,加价购买了800w电源

  • 1400W

  • 750W +

UEFI

Unified Extensible Firmware Interface (UEFI)是服务器启动管理,HP提供了 HPE UEFI支持 :

  • 结合UFEI安全启动(通过内建可信任密钥签名),并且HPE ProLiant Gen10服务器还支持Trusted Platform Module(TPM)

  • 嵌入的UEFI Sheel 和 iLo RESTful API ,可以管理UEFI以及BIOS

  • UEFI支持PXE从IPv6网络启动,这样可以通过网络快速部署大量服务器

我的服务器组合

  • HPE ProLiant DL360 Gen9 Server

  • Intel Xeon E5-2670 v3处理器

  • 三星 32G DDR4 2R*4 2400MHz 内存 (实际上v3只支持2133MHz,考虑到后续可能升级v4处理器支持2400MHz)

    • DL360支持每个DIMM插槽最高32GB RDIMM内存,满配24根最高768GB。为了不浪费插槽和内存,选择2根32G

  • 硬盘暂时采用原先的购买的笔记本2.5” SSD SATA硬盘,并购置2块2.5” HDD来构建 Gluster Atlas 虚拟机

  • 存储: 采用 PCIe bifurcation 安装3块 NVMe存储 三星PM9A1 NVMe存储 构建 Ceph Atlas ( IOMMU )

  • GPU: 采购 Nvidia GPU卡 实现 SR-IOV 组建GPU虚拟化集群

参考