清理Ceph
使用 ceph-deploy purge（不保留Ceph packages） 或者 ceph-deploy purgedata（保留Ceph packages）
命令参考如下：
ceph-deploy purge {hostname} [{hostname} …]
ceph-deploy purgedata {hostname} [{hostname} …]
第一步
这里我们完全clean ceph，恢复主机原来的模样
由于我这里部署了三台Ceph，所以命令执行如下：
[root@ceph-1 cluster]# ceph-deploy purge ceph-1 ceph-2 ceph-3
等待一会吧，时间还是稍微有点长的。。。
执行结束后可以看到"Cleaning up everything"的字样，然而并非像官方or这里显示的那样，其实还有数据没有删除，比如：
[root@ceph-1 cluster]# ll /var/lib/ceph/
total 28
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:09 bootstrap-mds
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:08 bootstrap-mgr
drwxr-x--- 2 ceph ceph 4096 Jun 21 17:07 bootstrap-osd
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:09 mds
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:08 mgr
drwxr-x--- 3 ceph ceph 4096 Jun 21 17:06 mon
drwxr-x--- 4 ceph ceph 4096 Jun 21 17:07 osd
第二步
[root@ceph-1 cluster]# umount /var/lib/ceph/osd/*
[root@ceph-1 cluster]# rm -rf /var/lib/ceph
[root@ceph-1 cluster]# rm -rf /etc/ceph
[root@ceph-1 cluster]# rm -rf /var/run/ceph/
到此，你以为你结束了？其实还没有。。。why？lsblk一下
[root@ceph-1 cluster]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
vda 253:0 0 40G 0 disk
└─vda1 253:1 0 40G 0 part /
vdb 253:16 0 50G 0 disk
└─ceph--6e7d98d3--22a0--4cc7--a9e5--b4a8a97b9f0f-osd--block--49dd9ad5--81f1--4a1e--8535--3c9477c90140
252:0 0 50G 0 lvm
vdc 253:32 0 50G 0 disk
└─ceph--f44f6b2c--16f8--4700--af87--52d5d950cb31-osd--block--07fbc656--5a52--4e27--bc05--ef3b09ae3533
252:1 0 50G 0 lvm
vdd 253:48 0 50G 0 disk
├─vdd1 253:49 0 10G 0 part
├─vdd2 253:50 0 10G 0 part
├─vdd3 253:51 0 10G 0 part
└─vdd4 253:52 0 10G 0 part
还有磁盘要清理。。于是继续。。
第三步
[root@ceph-1 cluster]# vgscan
Reading all physical volumes. This may take a while...
Found volume group "ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f" using metadata type lvm2
Found volume group "ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31" using metadata type lvm2
[root@ceph-1 cluster]# vgremove ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f -y
Logical volume "osd-block-49dd9ad5-81f1-4a1e-8535-3c9477c90140" successfully removed
Volume group "ceph-6e7d98d3-22a0-4cc7-a9e5-b4a8a97b9f0f" successfully removed
[root@ceph-1 cluster]# vgremove ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31 -y
Logical volume "osd-block-07fbc656-5a52-4e27-bc05-ef3b09ae3533" successfully removed
Volume group "ceph-f44f6b2c-16f8-4700-af87-52d5d950cb31" successfully removed
到此终于结束了。。。当然了还可以没结束，去清理一些其他的软件包
第四步（没必要）
清理ntp, ceph-deploy 等软件包
[root@ceph-2 ~]# yum remove xxx -y
vdd磁盘清理，用fdisk即可
值得注意的地方
- 如果不走第三步，当你在相同主机再次部署ceph的时候会无法清空磁盘并创建osd
- 如果不走第二步，当你在相同主机再次部署ceph的时候会有意想不到的问题，比如osd tree莫名多了几个down的osd，cephfs的pool 的pgs莫名down了等等。。。（当时我就是尝试了各种，欲哭无泪）
- 如果安装ceph时本地新建了cluster文件夹，里面放有各种配置文件，建议这个文件夹也一并删除掉
- 所以清理就一定要清干净
