删除Ceph集群

我在 移动云计算Ceph集群添加ceph-mon 时遇到无法正常部署 ceph-mon ,而且也没有办法回滚到最初 移动云计算Ceph部署ceph-mon 正常的操作状态。由于是测试环境,想快速恢复,所以采用删除Ceph集群,重新开始 移动云计算Ceph部署ceph-mon 等安装步骤。

  • 在每个节点上按需停止服务(已安装服务):

    sudo systemctl stop ceph-mon@`hostname -s`
    sudo systemctl disable ceph-mon@`hostname -s`
    
    sudo systemctl stop ceph-osd@`hostname -s`
    sudo systemctl disable ceph-osd@`hostname -s`
    
    sudo systemctl stop ceph-mgr@`hostname -s`
    sudo systemctl disable ceph-mgr@`hostname -s`
    

如果进程没有停止,则手工 kill

  • osd 有一个本地挂载的 tmpfs ( /var/lib/ceph/osd/ceph-0 ) 需要卸载,然后再删除掉数据目录 /var/lib/ceph

    sudo umount /var/lib/ceph/osd/ceph-0
    sudo rm -rf /var/lib/ceph
    
  • 清理掉 /etc/ceph 目录下证书文件(下一次新建集群会重新创建) ,备份配置文件:

    sudo rm -f /etc/ceph/ceph.client.admin.keyring
    sudo mv /etc/ceph/ceph.conf /etc/ceph/ceph.conf.bak
    
  • 删除 osd 卷(这里命令是简单操作,没有考虑复杂的逻辑,例如只有本地一个osd卷):

    lv=`sudo lvdisplay | grep "LV Path" | awk '{print $3}'`
    sudo lvremove $lv -y
    
    vg=`sudo vgdisplay | grep "VG Name" | awk '{print $3}'`
    sudo vgremove $vg -y
    
    pv=`sudo pvdisplay | grep "PV Name" | awk '{print $3}'`
    sudo pvremove $pv -y
    
  • 重启各个服务器节点

参考