移动云计算安装Ceph - 准备工作

2022年11月公司配了 Apple ARM架构芯片M1 Pro MacBook Pro ( ARM Atlas 架构 ),这是我用过的性能最佳ARM主机,我构建 移动云架构 ,底层采用 Ceph Atlas 分布式存储。

部署采用3个 Open Virtual Machine Firmware(OMVF) 虚拟机,采用 移动云计算libvirt LVM卷管理存储池 。也就是一共有3个 KVM Atlas 虚拟机来完成Ceph集群部署:

  • a-b-data-1 (192.168.8.204)

  • a-b-data-2 (192.168.8.205)

  • a-b-data-3 (192.168.8.206)

操作系统采用 Fedora 37 Server ARM

虚拟机环境准备

获取Ceph软件

Ceph对 RedHat Linux 系的支持极好(毕竟开发公司是红帽子公司)采用发行版的软件仓库,在 Fedora 上可以直接采用官方仓库安装。

安装Ceph软件

备注

本文档和 手工部署Ceph 相同,采用手工通过rpm包管理工具进行部署。

Fedora 内置了Ceph软件包仓库配置,无需配置可以直接安装。对于 debian 或 redhat 系,可以参考 Ceph: GET PACKAGES 获得软件仓库配置

  • 安装Ceph软件包(在每个节点上执行):

    sudo dnf update && sudo dnf install ceph ceph-mds
    

备注

INSTALL CEPH STORAGE CLUSTER 提供了 APT 和 YUM 仓库安装方法

对于通过对象存储模式使用Ceph,需要安装 Ceph Object Gateway ,我将另外撰写文章;对于虚拟化平台使用Ceph块设备则需要通过 librdb 驱动,我也会另外撰写实践文章。

Ceph集群的初始

Ceph集群要求至少1个monitor,以及至少和对象存储的副本数量相同(或更多)的OSD运行在集群中。 monitor部署是整个集群设置的重要步骤,例如存储池的副本数量,每个OSD的placement groups数量,心跳间隔,是否需要认证等等。这些配置都有默认值,但是在部署生产集群需要仔细调整这些配置。

本案例采用3个节点:

../../../_images/simple_3nodes_cluster.png

Figure 1: 三节点Ceph集群

正式开始

依次完成以下安装过程: