ceph bluestore的db分区应该预留多大的空间

前言

关于bluestore的db应该预留多少空间，网上有很多资料
如果采用默认的

write_buffer_size=268435456

大小的话
那么几个rocksdb的数据等级是

1
2
3
4
5
L0: in memory
L1: 256MB
L2: 2.56 GB
L3: 25.6 GB
L4: 256 GB

设置L4那么大的ssd可以给一个osd使用有点不划算，那么空间一般计算就是L1+L2+L3将近30GB
这个可以参考下面的文章

https://blog.csdn.net/NewTyun/article/details/103379694

关于block.db大小调整,只需为所有Bluestore OSD保留30 GB

那么这个大小对不对，如果你直接参考30GB这个，并且按照常规的去分区来说，就会带来问题了，我们看下具体什么问题

实际测试验证

1
parted -s /dev/sdb mkpart primaru 1 31G

上面的命令已经放大了1GB了，但是实际上还是不行

1
2
3
4
5
6
7
8
9
10
11
12
[root@lab102 ~]# ceph daemon osd.0 perf dump|grep bluefs -A 10
    "bluefs": {
        "gift_bytes": 0,
        "reclaim_bytes": 0,
        "db_total_bytes": 30999044096,
        "db_used_bytes": 3258966016,
        "wal_total_bytes": 1999630336,
        "wal_used_bytes": 501215232,
        "slow_total_bytes": 160000114688,
        "slow_used_bytes": 7837319168,
        "num_files": 194,
        "log_bytes": 10485760,

上面是我测试环境记录的值，db只使用了3.2G实际上已经开始使用slow 了,所以这个大小实际上不满足的我的预设的，这个跟parted命令分区的GB转换也存在的一定的关系

看下parted的问题

1
2
3
4
5
6
7
8
9
10
[root@lab102 ~]# parted -s  /dev/sdf mkpart primary 1 1GB
[root@lab102 ~]# parted -s  /dev/sdf print
Model: Intel RMS25CB080 (scsi)
Disk /dev/sdf: 4000GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size   File system  Name     Flags
 1      1049kB  1000MB  999MB               primary

可以看到上面创建1GB的时候实际上只创建了999MB，加上我指定的从1MB开始，实际上这个地方设置是按1000进制处理容量的，而对容量的需求的是真正的1024的去算的，这个地方就存在误差了

那么我们简单点处理，就是直接放大到35GB即可

1
parted -s  /dev/sdf mkpart primary 1 35GB

按这个容量设置的，能够保证上面的L3没有先满的时候不会提前溢出了

红帽的官方的建议是留1T 40GB左右，而suse是建议db大小为64GB

https://documentation.suse.com/zh-tw/ses/6/single-html/ses-deployment/index.html#:~:text=%E5%A6%82%E9%9C%80BlueStore%20%E7%9A%84%E8%A9%B3%E7%B4%B0,%E4%BD%BF%E7%94%A8%E5%96%AE%E7%8D%A8%E7%9A%84%E5%88%86%E5%89%B2%E5%8D%80%E3%80%82
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/administration_guide/osd-bluestore

如果没有调整write_buffer_size的情况下，建议是35GB，40GB或者64GB，这个都存在一些放大设置，如果磁盘空间足够的情况下，多分一点也没什么关系的，尽量避免转换不正确带来的未知的降速

WAL大小，suse建议是4GB的

测试模型构建

准备一个4TB的sata盘，准备一个db分区，准备一个wal分区(测试环境为2GB)
db分区设置为你需要的大小，上面的环境当中，我测试了db 30GB和35GB两组大小的情况

设置35GB写入600万文件的时候osd的db情况如下：

1
2
3
4
5
6
7
8
9
10
11
12
ceph daemon osd.0 perf dump|grep bluefs -A 10
    "bluefs": {
        "gift_bytes": 0,
        "reclaim_bytes": 0,
        "db_total_bytes": 34999361536,
        "db_used_bytes": 10392428544,
        "wal_total_bytes": 1999630336,
        "wal_used_bytes": 492826624,
        "slow_total_bytes": 160000114688,
        "slow_used_bytes": 0,
        "num_files": 177,
        "log_bytes": 3944448,

创建osd的命令

1
ceph-deploy osd create --data /dev/sdc1 --block-db /dev/sdb1  --block-wal /dev/sdb2 lab102

创建一个rgw网关
然后用cosbench往网关打数据
200个worker，64KB的文件，写入600万文件

测试一轮的时间大概为2小时就可以复现上面的情况，测试过程还带出了另外的一个问题

1
rgw_dynamic_resharding = true

这个动态分片过程中会有一定的概率阻塞住请求的，通过cosbench里面的压测图形也可以看到分片后的性能比没分片是好很多的，所以如果抢时间的话

最好是关闭动态分片，设置好需要的分片数目

测试完需要改db的时候，直接删存储池，然后重新创建即可，推掉的操作也很快的

总结

网上的文章都是用来参考的，实际是一定需要去复测验证的，一般分享的文章也不会细化到一个parted的命令也记录，只会从原理上面出发去分析，并且环境调整了什么参数，都是不同的结果的，比如上面的
write_buffer_size如果调整到512MB，那么预留的空间差不多需要翻一倍的

所以参数的调整，一定要实测