Cephday北京总结-August 20, 2016(未完待续)



进度

已完结,因为BLOG已经被抓取,为了防止链接失效,就不做标题的修改了

前言

这次的ceph day 在北京举办的,随着中国IT业的发展,中国的程序员在一些开源项目中做出了自己的贡献,同样的,国外的大厂也越来越关注中国的市场,这就促成了越来越多的交流活动,这次的北京站应该是CEPH DAY APAC ROADSHOW – BEIJING,这个是ceph的亚洲行的其中的一站,来中国,当然就有更多的中国的开发者进行的分享,作为一个长期关注ceph的爱好者,本篇将从我自己的角度来看下这次北京站讲了哪些东西

由于工作的地方在武汉,没有那么多的机会去参加分享活动,就从分享的PPT当中进行解读了,所有的知识都是需要去根据环境进行实践的,也就是别人的经验只有适配好你的环境,对你才是有用的,废话不多说开始了

分享的PPT

开幕致辞-张建

首先说下这位分享者,之前在2015的Ceph Hackathon上,就是他最先发现的老版本的ceph与 TCMalloc结合的一个bug,然后提出了用jemalloc获取了随机IO的提升,并且降低了资源占用, 这对于老版本的环境提升还是比较大的,在新的环境下,差别没有那么大了,不过分享者还是非常无私的分享了他们的发现
本篇主要讲了下面几点:ceph在中国很火,intel投入很多,并且参与了很多的功能的开发,这只是一个致辞,发出的信号就是Intel 很关注ceph

Ceph社区进展-Patrick

Patrick是红帽的ceph社区的总监,负责推进ceph各方面的发展,
本篇主要讲了:ceph当前的发展情况,各大厂对ceph的关注,ceph的固定的活动,cephfs在jewel版本会稳定下来

Ceph中国社区-孙琦


这篇是由孙琦进行的演讲,他对推动ceph在中国的发展做了很多工作
本篇主要讲了:ceph中国社区在中国做了哪些推广方面的活动,主要是建立圈子,关注的人很多,发布了一本翻译的技术书籍,未来会做的事情,需要关注的是社区自己写的书会在10月份出来

###SSD-Ceph在360游戏云的应用-谷忠言

本篇是由360游戏的谷忠言进行演讲的,主要讲述了ceph在360游戏中使用的经验
提出了IO容量计算模型;概括了ceph主要调优的方法;相同负载情况下分池对线程和资源的占用帮助很大;如果不限流很有可能因为过载造成心跳超时,进程自杀了;扩容采用扩池的方式避免数据大量变动;网络问题不好定位,根据osd的提交时间的异常来追踪问题(这个数据看下采集方法);图形化监控采用的是grafana;纯ssd才能满足360游戏主机对性能的需求

SPDK加速Ceph-XSKY Bluestore案例分享-扬子夜-王豪迈


本篇是由xsky的扬子夜-王豪迈进行演讲的,ceph设计是在低性能硬件基础上设计的,现在的网络磁盘都是高性能的,软件设计和实现是性能瓶颈,介绍了底层对象存储的写入模型的优点和缺点;设计了新的写入方式,解决这些问题,介绍了spdk;spdk的nvme 驱动比内核的nvme驱动带来了6倍随机读性能的提升;spdk对iscsi场景也能带来很大性能提升;替换内核驱动NVME SSD的OSD为spdk驱动,OSD网络用dpdk替换;介绍bluestore,性能全线提升,当前还在完善功能;总之这个地方会对性能提升很多,但是目前资料太少,目前还没普及,只能有一定功底研发实力的才能参与进来,目前主要是xsky和Intel还有Redhat等大厂在进行驱动在

Ceph Tiering高性能架构-Thor Chin


本篇是由 Thor Chin 进行的演讲,首先介绍了自己的使用场景,然后介绍了下crushmap文件里面各个字段的意思;介绍了各种测试的工具;然后给出了测试的情况,这里作者没有给出测试模型,并且没有说明是否在cache满载的情况下,这个方案是可以使用的,但是性能数据就不做过多的评价

Ceph在视频应用上的性能优化-何营


本篇来自浪潮的何营的演讲,主要介绍了ceph在视频行业的运用,并且提出了直接纠删码的实现方法,研发可以看看,实现起来代码量还是很高的

借助当今的NVM Express固态盘和未来的英特尔Optane技术打造经济高效的高性能存储解决方案-周渊-张缘


本篇来自Intel的周渊-张缘作的演讲,开始介绍了Intel在ceph上的贡献,有三大工具,CeTune性能调优工具,Vsm部署管理工具,COSbench压力测试工具,三大工具目前都是开源可部署的,然后介绍了基于Intel的硬件的Ceph方案,介绍了几个调优点,4K随机写提高了6倍,4K随机读提高了16倍,介绍了Bluestore和Filestore在Intel硬件上性能的差别,根据火焰图的输出提出rocksdb需要调优;介绍了Intel的3D Xpoint,最后给出了参考配置文件,这个是针对全闪存的调优

基于ARM的Ceph可扩展高效解决方案-罗旭


本篇来自罗旭的演讲,介绍了arm在存储方面的应用,社区也在发布arm版本的发行包,提供了ceph的arm基本解决方案,介绍了功耗的优势,西数之前做了一个504个osd的arm的测试,arm目前在国内还属于起步概念的东西,很多人想上,但是因为因为不是通用平台,目前的成本其实并没有太大的优势,未来还是值得期待,在冷数据存储的场景上,还是大有可为的,还有一个原因,国内在功耗这一块并没有特别的重视

Ceph存储设备案例研究与S3对象存储性能优化-刘志刚


本篇来自富士通的刘志刚演讲,这也是本次分享里面唯一的RGW方面的分享,开始介绍了富士通在ceph上的投入,介绍了cache tiering存在性能衰减的问题,介绍了一些方案上调优的点,介绍了ownCloud与对象存储对接的方案和性能,介绍了cosbench测试出来的性能的情况,介绍了rgw调优的参数

Ceph全闪存存储-周皓


本篇来自SanDisk的周皓的演讲,介绍了Sandisk的全闪存ceph的方案InfiniFlash,性能确实非常的好,并且TCO非常的低;介绍了一些调优的点BlueStore,KV Store,Memory allocation等等

将Ceph引入企业-在30分钟安装一个50T移动集群


本篇来自Suse的劉俊賢的演讲,主要讲的是快速部署一个50T的ceph集群,介绍了Suse的iscsi的方案,目前Suse这块做的不错,商业版本提供了基于rbd的iscsi方案的高可用,介绍了基于LIO的LRBD,介绍了openATTIC,这个是之前一家做存储管理平台的公司,后来和Suse合作比较紧密,这个在openATTIC更稳定一点我会写下部署的相关文档,介绍了基于salt的快速部署

完结

现在一些大厂的分享都会带上一些优化的方法和优化的参数,这个比前几年已经好了很多,这些参数建议都自己在自己的环境上跑一跑,因为优化是基于当前环境的优化,如果有通用优化,那不用优化了,直接固定参数值就行了,举个简单的例子,在ssd场景上常用的一个优化需要调高IO的线程,如果直接参数硬套到sata的场景,性能不会提高,反而增大了延时,IO一般在增大到一个峰值后,就不会增大,延时反而会增大,所以调优就是找到自己环境的最适合的参数,上面只是简单的介绍了PPT里面的内容点,如果感兴趣可以深挖里面的东西

变更记录

Why Who When
创建 武汉-运维-磨渣 2016-08-29
完成 武汉-运维-磨渣 2016-09-06