手工安装Ceph - 准备工作(zdata)

备注

2021年10月我购买了 HPE ProLiant DL360 Gen9服务器 构建 私有云架构 ,底层数据存储层采用Ceph实现。为了完整控制部署并了解Ceph组件安装,采用本文手工部署Ceph方式安装。

部署采用3个 Open Virtual Machine Firmware(OMVF) 虚拟机,通过 IOMMU 方式 pass-through 三星PM9A1 NVMe存储 NVMe存储 存储。也就是一共有3个 KVM Atlas 虚拟机来完成Ceph集群部署:

  • z-b-data-1 (192.168.6.204)

  • z-b-data-2 (192.168.6.205)

  • z-b-data-3 (192.168.6.206)

操作系统采用 Ubuntu Linux 20.04.3 LTS

获取Ceph软件

最简易获取软件的方法还是采用发行版的软件仓库,例如 apt (Debian/Ubuntu) 或 yum (RHEL/CentOS) ,如果使用非 debrpm 的软件包管理,则可以使用官方提供的tar包安装二进制可执行程序。

备注

在多台服务器上同时操作,可以使用 pssh - 并行SSH

安装Ceph软件

备注

为了能够完整了解Ceph集群部署过程,本文档没有使用 ceph-deployceph-adm 工具,而是采用手工通过APT包管理工具进行部署。

  • 安装Ceph软件包(在每个节点上执行):

    sudo apt update && sudo apt install ceph ceph-mds
    

备注

INSTALL CEPH STORAGE CLUSTER 提供了 APT 和 YUM 仓库安装方法

对于通过对象存储模式使用Ceph,需要安装 Ceph Object Gateway ,我将另外撰写文章;对于虚拟化平台使用Ceph块设备则需要通过 librdb 驱动,我也会另外撰写实践文章。

Ceph集群的初始

Ceph集群要求至少1个monitor,以及至少和对象存储的副本数量相同(或更多)的OSD运行在集群中。 monitor部署是整个集群设置的重要步骤,例如存储池的副本数量,每个OSD的placement groups数量,心跳间隔,是否需要认证等等。这些配置都有默认值,但是在部署生产集群需要仔细调整这些配置。

本案例采用3个节点:

../../../_images/simple_3nodes_cluster.png

Figure 1: 三节点Ceph集群

备注

我在部署初始采用1个monitor,准备后续再通过monitor方式扩容(缩容及替换)来演练生产环境的维护。

正式开始

依次完成以下安装过程: