Dell T5820通过FlexBay安装NVMe

Dell Precision T5820 工作站 前面板有用于安装存储的FlexBay，分为2个FlaxBay，每个FlaxBay后部安装了一块背板，其安装的背板类型决定了是使用U.2接口硬盘还是SATA硬盘。

Dell T5820主板CPU旁边有 PCIe 0 和 PCIe 1 两个接口，该接口通过SFF-8654接口转接U.2，为 FlexBay 1 提供了数据通讯功能:

../../../../_images/sff-8654.jpg

主板CPU旁边的 PCIe 0 和 PCIe 1 接口

../../../../_images/t5820_flexbay_1.jpg

FlexBay 1安装了U.2接口，数据线连接到主板CPU旁的 PCIe 0 和 PCIe 1 接口

不过，通过Flex Bay安装 NVMe存储 需要使用Dell专用的 NVMe Flexbay : 如果你购买的是4个SATA接口的T5820，那么需要购买官方套装: Flexbay的M.2模块(575-BBSH)和HDD FlexBay转为PCIe SSD FlexBay套件(750-ABDF)

../../../../_images/575-bbsh.jpg

Flexbay的M.2模块(575-BBSH)

../../../../_images/750-abdf.jpg

HDD FlexBay转PCIe SSD FlexBay套件(750-ABDF)

安装有点小复杂，需要参考 如何为 Precision 5820 和 7820 塔式机切换 NVMe

优点

  • 通过前面板安装 NVMe存储 非常方便和整洁

缺点

  • 需要另外购买 NVMe Flexbay 转接盒，目前价格大约125元/个

  • 每个安装位置只能安装 1块NVMe ，占用了非常宝贵的PCIe接口，这样消耗了2个PCIe接口只能安装2块NVMe。如果为了支持更多的GPU，例如低功耗 NVIDIA Tesla A2 GPU运算卡 ，我可能会将这2个PCIe接口用于 Dell T5820板载SFF-8654连接Tesla A2

实践

我最终在淘宝上购买了2个 NVMe Flexbay 转接盒，花费了250元，安装比较顺利，Dell为这个NVMe Flexbay设计了抽取盒子，只需要3个外部螺丝就能够固定住NVMe盘(内部不需要螺丝，直接卡住)

不过，我注意到一旦安装了 NVMe Flexbay ，主机的风扇转速明显提高，能够感觉到风噪比没有安装NVMe之前大了不少。我安装了 lm_sensors(Linux监控传感器) 和 nvme-cli用户工具 来检查验证

安装 lm_sensor 和 nvme-cli
sudo apt install lm-sensors nvme-cli

然后执行 sensors 命令，可以看到系统传感器报告风扇转速和温度:

执行 sensors 命令观察主机温度和风扇转速
dell_smm-isa-0000
Adapter: ISA adapter
fan1:        1079 RPM  (min =    0 RPM, max = 4050 RPM)
fan2:         688 RPM  (min =    0 RPM, max = 3000 RPM)
fan3:         656 RPM  (min =    0 RPM, max = 4100 RPM)
fan4:        1055 RPM  (min =    0 RPM, max = 4100 RPM)
temp1:        +30.0°C  
temp2:        +28.0°C  
temp5:        +25.0°C  
temp7:        +24.0°C  
temp8:        +29.0°C  

nvme-pci-0100
Adapter: PCI adapter
Composite:    +32.9°C  (low  =  -0.1°C, high = +71.8°C)
                       (crit = +89.8°C)

coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +30.0°C  (high = +91.0°C, crit = +101.0°C)
Core 0:        +29.0°C  (high = +91.0°C, crit = +101.0°C)
Core 2:        +28.0°C  (high = +91.0°C, crit = +101.0°C)
Core 3:        +29.0°C  (high = +91.0°C, crit = +101.0°C)
Core 4:        +28.0°C  (high = +91.0°C, crit = +101.0°C)

nvme-pci-0200
Adapter: PCI adapter
Composite:    +32.9°C  (low  =  -0.1°C, high = +77.8°C)
                       (crit = +89.8°C)

可以看到感受到风扇噪音主要是因为fan1和fan4转速提到到>1000rpm，当系统风扇转速低于1000时几乎感觉不到声音。

T5820 的 FlexBay 如果安装了 U.2 NVMe 硬盘，主板会认为该区域出现了高发热组件。相比传统的 SATA/SAS 硬盘，NVMe 硬盘在满载时控制器温度可以轻松突破 70°C。为了防止 PCIe 控制器过热导致系统崩溃，BIOS 会强制提升 前置进风扇（Front Intake Fan） 的阶梯转速。

不过，目前我使用的消费级 铠侠KIOXIA EXCERIA G2 NVMe SSD存储 待机时温度很低

另外一个检查nvme温度的方法是使用 nvme-cli用户工具 :

使用 nvme-cli 检查 smart-log
sudo nvme smart-log /dev/nvme0

输出类似:

使用 nvme-cli 检查 smart-log
Smart Log for NVME device:nvme0 namespace-id:ffffffff
critical_warning			: 0
temperature				: 33 °C (306 K)
available_spare				: 100%
available_spare_threshold		: 5%
percentage_used				: 0%
endurance group critical warning summary: 0
Data Units Read				: 984340 (503.98 GB)
Data Units Written			: 1127849 (577.46 GB)
host_read_commands			: 4741677
host_write_commands			: 7632558
controller_busy_time			: 15
power_cycles				: 70
power_on_hours				: 2504
unsafe_shutdowns			: 22
media_errors				: 0
num_err_log_entries			: 137
Warning Temperature Time		: 0
Critical Composite Temperature Time	: 0
Thermal Management T1 Trans Count	: 0
Thermal Management T2 Trans Count	: 0
Thermal Management T1 Total Time	: 0
Thermal Management T2 Total Time	: 0

参考