ceph通过tgt配置多路径的数据一致性问题

前言

使用librbd通过tgt出iscsi，多路径数据是一致的，由于环境的原因，切换为kernel rbd 出iscsi，然后通过不同的iscsi路径写入后，发现在rbd端就出现了数据没有刷新的问题

问题分析

这里有个类似的问题

1
https://github.com/ceph/ceph-csi/issues/461

这个是通过把rbd map到不同的节点，通过dd写入的时候发现数据不同步，需要通过增加参数direct才能保证数据一致，我们通过官网的描述和这个issue里面的回答可以看到

1
https://docs.ceph.com/docs/luminous/rbd/rbd-config-ref/

The kernel driver for Ceph block devices can use the Linux page cache to improve performance.

rbd内核客户端是会通过linux page cache来改善性能的，而librbd是可以通过参数关闭缓存的，这个在我以前的理解里面krbd是没有缓存的，实际上这个是存在缓存的

而通过tgt的客户端写入，数据到了tgt，而tgt可以利用kernel的rbd page缓存一点数据，然后就没下刷到后端了，从另外一个客户端读取数据的时候就看到数据是没刷过去的，这个跟把rbd格式化文件系统，然后map到两台机器，一台写入，另外一台查看，也是存在看不到数据的情况

而issue里面也说的很清楚，这个同步写的过程应该交给上层软件去控制，也就是软件去控制o_direct的写入

问题复现

复现问题比较容易，配置kernel rbd，map到服务器，然后配置tgt，两台机器配置相同的tgt，然后通过iscsi客户端连接两台tgt的iscsi server，那么iscsi的客户端机器就增加了两个盘符
直接对裸盘进行dd的写入

1
dd if=/dev/urandom   of=/dev/sdc bs=512 count=8000

写完以后在 rbdmap的机器上面执行

1
sha512sum /dev/rbd/rbd/testrbd

两台机器都执行检查，这个时候默认情况下，得到的输出是不一致的

解决问题

配置文件增加一个配置

1
2
3
4
5
<target iqn.2008-09.com.example:server.target2>
    backing-store /dev/rbd/rbd/testrbd
    bsoflags direct
    #write-cache off
</target>

增加一个bsoflags direct就可以保证数据一致性了，下面的写缓存应该是客户端那边的缓存，缓存客户端的数据还没来到rbd这边，来到以后也是direct的写，也是能保证一致性的，所以可以保留

测试过程中还遇到另外一个问题backing-store如果写成direct-store，下面的配置的参数就不能生效了，所以这个地方需要注意下