ceph使用memdisk做journal

记得在很久很久以前,ceph当时的版本是有提供使用内存做journal的配置的,当时是使用的tmpfs,但是现在的版本在搜资料的时候,发现关于这个的没怎么找到资料,邮件列表里面有人有提到怎么做,看了下大致的原理,然后还是自己来实践一次

预备知识:

首先需要知道的是什么是内存盘,内存盘就是划分了一个内存空间来当磁盘使用来进行加速的,这个在某些操作系统里面会把/tmp/分区挂载到tmpfs下,来达到加速的目的,这样就是重启后,会清空/tmp的内容,centos7 默认的分区方式也使用了tmpfs来加速,df -h可以看下那个tmpfs就是内存盘了

本文使用的不是tmpfs,这个是因为tmpfs不是我们常见意义上的那种文件系统,它不能格式化,ceph 在进行日志创建的时候会去检查journal 所在分区的 uuid, 而tmpfs在检测的时候 会返回一个全0的字符串,这个在校验的时候显示的无效的,所以也就部署起来有问题,下面开始介绍我的做法,这个里面做法很多,步骤也可以自己去变化,这里只是提供了我的一种思路

我使用的是ramdisk,关于怎么做ramdisk这个也研究了一下,因为篇幅有点长并且属于预备步骤,请参考我的另外一篇文章:

centos7下做内存盘的方法

测试环境:

单机,四块SAS的OSD,日志为5G(内存盘大小为6G),副本 2, osd分组

说明:因为这里只去研究这个内存盘journal的实现,以及性能的差别,其他的组合方案需要自己去配置,所以单机的环境已经可以完成这个

1、准备journal的内存盘

检查内存盘大小

[root@lab8106 ceph]# fdisk -l /dev/ram0

Disk /dev/ram0: 6797 MB, 6797721600 bytes, 13276800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

我的大小为6G

格式化内存盘,并且挂载

创建挂载目录(有多少osd建几个)
[root@lab8106 ceph]# mkdir -p /var/lib/ceph/mem/ceph-0
格式化memdisk(需要几个格式化几个)
[root@lab8106 ceph]# mkfs.xfs /dev/ram0  -f
挂载内存盘
[root@lab8106 ceph]# mount /dev/ram0 /var/lib/ceph/mem/ceph-0/
挂载完了后的效果如下:
[root@lab8106 ceph]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 50G 9.7G 41G 20% /
devtmpfs 24G 0 24G 0% /dev
tmpfs 24G 0 24G 0% /dev/shm
tmpfs 24G 17M 24G 1% /run
tmpfs 24G 0 24G 0% /sys/fs/cgroup
/dev/sda1 283M 94M 190M 33% /boot
/dev/ram0 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-0
/dev/ram1 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-1
/dev/ram2 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-2
/dev/ram3 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-3

2、准备ceph的环境

修改deploy的ceph.conf文件,在部署前修改好
单机环境添加下面的三个

osd_crush_chooseleaf_type = 0
osd_pool_default_size = 2
osd_journal = /var/lib/ceph/mem/$cluster-$id/journal

意思就不在这里介绍了

创建mon

[root@lab8106 ceph]# ceph-deploy mon create lab8106
[root@lab8106 ceph]# ceph-deploy gatherkeys lab8106

创建osd

[root@lab8106 ceph]# ceph-deploy osd prepare lab8106:/dev/sdb1:/var/lib/ceph/mem/ceph-0/journal
[root@lab8106 ceph]# ceph-deploy osd activate lab8106:/dev/sdb1
部署完这个检查下

[root@lab8106 ceph]# df -h
Filesystem Size Used Avail Use% Mounted on
……
/dev/ram0 6.4G 5.1G 1.3G 80% /var/lib/ceph/mem/ceph-0
/dev/ram1 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-1
/dev/ram2 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-2
/dev/ram3 6.4G 33M 6.3G 1% /var/lib/ceph/mem/ceph-3
/dev/sdb1 280G 34M 280G 1% /var/lib/ceph/osd/ceph-0

可以看到内存盘分区内已经生成可一个5G的journal文件

[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-0
total 40
……
lrwxrwxrwx 1 root root 32 Jan 14 10:28 journal -> /var/lib/ceph/mem/ceph-0/journal

可以看到osd分区的也是链接到了内存盘,环境没问题

继续部署生效的三个osd

部署完再次检查环境

[root@lab8106 ceph]# df -h|grep ceph
/dev/ram0 6.4G 5.1G 1.3G 80% /var/lib/ceph/mem/ceph-0
/dev/ram1 6.4G 5.1G 1.3G 80% /var/lib/ceph/mem/ceph-1
/dev/ram2 6.4G 5.1G 1.3G 80% /var/lib/ceph/mem/ceph-2
/dev/ram3 6.4G 5.1G 1.3G 80% /var/lib/ceph/mem/ceph-3
/dev/sdb1 280G 34M 280G 1% /var/lib/ceph/osd/ceph-0
/dev/sdc1 280G 34M 280G 1% /var/lib/ceph/osd/ceph-1
/dev/sdd1 280G 34M 280G 1% /var/lib/ceph/osd/ceph-2
/dev/sde1 280G 33M 280G 1% /var/lib/ceph/osd/ceph-3

都挂载正确
检查集群的状态

[root@lab8106 ceph]# ceph -s
cluster 68735617-2d30-4a81-9865-aeab3ea85e6e
health HEALTH_OK
monmap e1: 1 mons at {lab8106=192.168.8.106:6789/0}
election epoch 2, quorum 0 lab8106
osdmap e21: 4 osds: 4 up, 4 in
pgmap v35: 192 pgs, 1 pools, 0 bytes data, 0 objects
136 MB used, 1116 GB / 1117 GB avail
192 active+clean

环境部署完毕

开始测试

测试一:采用内存盘journal的方式
使用radosbench进行测试(采取默认的写,并且不删除的测试,尽量把内存写满,未进行任何调优)

[root@lab8106 ceph]# rados bench -p rbd 120 write --no-cleanup --run-name testmemdisk
Total time run: 120.568031
Total writes made: 5857
Write size: 4194304
Bandwidth (MB/sec): 194.314

Stddev Bandwidth: 144.18
Max bandwidth (MB/sec): 504
Min bandwidth (MB/sec): 0
Average Latency: 0.329322
Stddev Latency: 0.48777
Max latency: 3.01612
Min latency: 0.0377235

测试二:采用默认的磁盘journal的方式,环境恢复要原始的情况

[root@lab8106 ceph]# rados bench -p rbd 120 write --no-cleanup --run-name testmemdisk
Total time run: 120.613851
Total writes made: 3404
Write size: 4194304
Bandwidth (MB/sec): 112.889

Stddev Bandwidth: 26.3641
Max bandwidth (MB/sec): 160
Min bandwidth (MB/sec): 0
Average Latency: 0.566656
Stddev Latency: 0.305038
Max latency: 2.00623
Min latency: 0.105026

测试的结果如上,上表格也许看的更直观,正好之前在找一个表格插件,现在用用

内存盘journal与磁盘journal性能对比

内存盘journal
磁盘journal
测试时间(s)
120.568031
120.613851
写数据块数
5857
3404
总共写入数据(MB)
23428
13616
数据块大小
4194304
4194304
写带宽(MB/sec)
194.314
112.889
带宽标准偏差
144.18
26.3641
最大带宽(MB/sec)
504
160
平均延时
0.32932
0.566656
延时偏差
0.48777
0.305038
最大延时
3.01612
2.00623
最小延时
0.0377235
0.105026

可以看到相关数据,光写带宽就提升了接近一倍,这个是因为,在磁盘journal情况下,写入journal的同时还有filestore的数据写入,相当于同时有两个写入在磁盘上,磁盘的性能自然只有一半了

以上就是关于journal的内存盘实现,这里面还会面临着其他的问题

  • 机器内存的占用问题
  • 断电后的处理
  • 同时断电是否会搞坏pg状态
  • 搞坏的情况是否能恢复

如果解决了这些问题,这个不失为一种性能提升的方案,毕竟内存的成本和速度是ssd的磁盘和单独磁盘journal不能比的,journal本身也是一种循环的写入的空间

增加知识(/dev/shm模式)

上面的通过memdisk的方式是可以,还有更方便的方式就是直接用内存路径,需要处理几个地方,我们来看下怎么处理

首先修改配置文件

osd_journal =/dev/shm/$cluster-$id/journal
journal dio = false
journal aio = false

增加这三个选项,否则会失败,这个是因为在内存这个路径下用文件的时候是无法满足默认的dio,和aio选项的,会造成无法生成journal文件,生成的journal的文件的大小为0,无法成功

假如我们给osd.5替换journal,我们看下操作步骤

[root@lab8106 ceph-5]# mkdir /dev/shm/ceph-5
[root@lab8106 ceph-5]# chown ceph:ceph /dev/shm/ceph-5

创建目录并且修改权限
修改fsid

[root@lab8106 ceph-5]# cat fsid 
f66832a7-6bd0-4eef-a538-15ba2404243f

这个fsid是用来校验journal的
而内存的uuid为

[root@lab8106 ceph-5]#ceph-osd -i 7 --get-journal-uuid --osd-journal /dev/shm/ceph-7/journal
00000000-0000-0000-0000-000000000000

所以修改这个文件

echo 00000000-0000-0000-0000-000000000000 > fsid

创建journal

[root@lab8106 ceph-5]# ceph-osd -i 5 --mkjournal --setuser ceph --setgroup ceph --debug_ms 20 --debug_osd 20
2017-01-20 10:58:22.297737 7f0f1a75a800 -1 created new journal /dev/shm/ceph-5/journal for object store /var/lib/ceph/osd/ceph-5
[root@lab8106 ceph-5]# ll /dev/shm/ceph-5/journal
-rw-r--r-- 1 ceph ceph 1073741824 Jan 20 10:58 /dev/shm/ceph-5/journal

启动osd就可以了

变更记录

Why Who When
创建 武汉-运维-磨渣 2016-01-14
增加/dev/shm/路径模式 武汉-运维-磨渣 2017-01-20