如何删除一台OSD主机

在ceph的一台OSD主机出现故障的时候,数据可以通过副本的机制进行恢复,之后通过删除osd的操作也能够将故障osd从osd tree当中删除掉,但是故障的 osd 的主机仍然会留在集群当中,通过 ceph osd tree 或者打印 crush map 都可以看到这个损坏的节点主机名,所以这里讲下怎么删除掉这个无用的host

首先集群环境为两台主机 node8109 node8110 , node8110主机出现故障需要清理掉

先看下当前的osd tree状态

1
2
3
4
5
6
7
8
9
10
[root@node8109 webui]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 4.00000 root default
-3 4.00000 rack localrack
-2 2.00000 host node8109
0 1.00000 osd.0 up 1.00000 1.00000
1 1.00000 osd.1 up 1.00000 1.00000
-4 2.00000 host node8110
2 1.00000 osd.2 down 1.00000 1.00000
3 1.00000 osd.3 down 1.00000 1.00000

查看osd的状态

1
2
[root@node8109 webui]# ceph osd stat
osdmap e66: 4 osds: 2 up, 4 in; 52 remapped pgs

首先out掉osd

1
2
3
4
[root@node8109 ~]# ceph osd out 2
marked out osd.2.
[root@node8109 ~]# ceph osd out 3
marked out osd.3.

从crush里面删除osd

1
2
3
4
[root@node8109 ~]# ceph osd crush remove osd.2
removed item id 2 name 'osd.2' from crush map
[root@node8109 ~]# ceph osd crush remove osd.3
removed item id 3 name 'osd.3' from crush map

从集群中删除OSD

1
2
3
4
[root@node8109 ~]# ceph osd rm osd.3
removed osd.3
[root@node8109 ~]# ceph osd rm osd.2
removed osd.2

从集群认证里面删除osd

1
2
3
4
[root@node8109 ~]# ceph auth del osd.2
updated
[root@node8109 ~]# ceph auth del osd.3
updated

查看当前的crush map

1
2
3
4
5
6
7
8
root@node8109 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 2.00000 root default
-3 2.00000 rack localrack
-2 2.00000 host node8109
0 1.00000 osd.0 up 1.00000 1.00000
1 1.00000 osd.1 up 1.00000 1.00000
-4 0 host node8110

下面有两种方法从osd tree 删除掉node8110,为命令方式和修改crush map 方式

方式一:命令方式

1
2
3
4
5
6
7
8
9
[root@node8109 ~]# ceph osd crush remove node8110
removed item id -4 name 'node8110' from crush map
[root@node8109 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 2.00000 root default
-3 2.00000 rack localrack
-2 2.00000 host node8109
0 1.00000 osd.0 up 1.00000 1.00000
1 1.00000 osd.1 up 1.00000 1.00000

方式二:通过修改 crush map 的方式

导出当前的crush map

1
2
3
[root@node8109 ~]#ceph osd getcrushmap -o crushmap.txt
[root@node8109 ~]#crushtool -d crushmap.txt -o crushmap-decompile
[root@node8109 ~]# vim crushmap-decompile

删除掉node8109相关的信息

1
2
3
4
5
6
7
8
9
10
[root@node8109 ~]#crushtool -c crushmap-decompile  -o crushmap-compile
[root@node8109 ~]# ceph osd setcrushmap -i crushmap-compile
set crush map
[root@node8109 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 2.00000 root default
-3 2.00000 rack localrack
-2 2.00000 host node8109
0 1.00000 osd.0 up 1.00000 1.00000
1 1.00000 osd.1 up 1.00000 1.00000

总结:

从上面的两种方式可以看出,使用命令的方式更为简单直接,而修改crush map的方式需要去做修改的操作,有一定的修改错误的风险,所以在做crush map的相关操作的时候,建议是能用命令方式做的就用命令方式去做操作