前言

最近想研究下如何将ceph的rbd块设备作为docker的数据卷使用，下面大概记录下研究过程和结果作为备忘，后面持续更新。

机器环境

docker机器和ceph集群都是在centOS 7上部署的。

# ceph集群（单机部署的）机器，机器名为node1
[root@node1 ~]# cat /etc/redhat-release 
CentOS Linux release 7.3.1611 (Core)

# docker机器，主机名为ZTEST-163
[root@ZTEST-163 ~]# cat /etc/redhat-release 
CentOS Linux release 7.2.1511 (Core)

# docker要求内核必须是3.10及以上的64为系统
[root@ZTEST-163 ~]# uname -a
Linux ZTEST-163 3.10.0-327.36.3.el7.x86_64 #1 SMP Mon Oct 24 16:09:20 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

ceph集群部署

ceph的部署过程可以参考我的这篇文章。这里我们在主机名为node1的机器上部署了ceph集群：

[root@node1 ~]# ceph -s
cluster eaf47fa6-4529-44a9-8561-b38724408b3f
 health HEALTH_OK
 monmap e1: 1 mons at {node1=192.168.62.176:6789/0}
        election epoch 1, quorum 0 node1
 osdmap e23: 2 osds: 2 up, 2 in
  pgmap v75: 64 pgs, 1 pools, 14768 kB data, 23 objects
        10328 MB used, 30607 MB / 40936 MB avail
              64 active+clean

在CEPH集群中创建名称为TEST1的RBD块设备

[root@node1 ~]# rbd create test1 --size 20000

Docker环境部署

更新yum源

Base源:

[root@ZTEST-163 yum.repos.d]# cat CentOS-Base.repo
# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically close to the client.  You should use this for CentOS updates
# unless you are manually picking other mirrors.
#
# If the mirrorlist= does not work for you, as a fall back you can try the 
# remarked out baseurl= line instead.
#
#

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=os
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates 
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=updates
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=extras
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=centosplus
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/
#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=contrib
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

epel源：

[root@ZTEST-163 yum.repos.d]# cat epel.repo 
[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://mirrors.aliyun.com/epel/7/$basearch
        http://mirrors.aliyuncs.com/epel/7/$basearch
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch
failovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug
        http://mirrors.aliyuncs.com/epel/7/$basearch/debug
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-7&arch=$basearch
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0

[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://mirrors.aliyun.com/epel/7/SRPMS
        http://mirrors.aliyuncs.com/epel/7/SRPMS
#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-source-7&arch=$basearch
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0

ceph源：

[root@ZTEST-163 yum.repos.d]# cat ceph.repo 
[ceph]
name=ceph
baseurl=http://download.ceph.com/rpm-hammer/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://download.ceph.com/rpm-hammer/el7/noarch/
gpgcheck=0

docker源：

[root@ZTEST-163 yum.repos.d]# cat ghostcloud.repo 
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg

安装DOCKER

[root@ZTEST-163 yum.repos.d]# yum -y install docker-engine

安装CEPH客户端相关包

[root@ZTEST-163 yum.repos.d]# yum -y install librados-dev librbd-dev ceph-common

将CEPH集群的rbd块设备map到本地，格式化并mount到/mnt目录下

# 这一步是将ceph集群的配置文件cp过来，这样才能和集群通讯
[root@ZTEST-163 yum.repos.d] scp root@192.168.62.176:/etc/ceph/ceph.conf /etc/ceph/
[root@ZTEST-163 yum.repos.d]# rbd info test1
[root@ZTEST-163 yum.repos.d]# rbd map test1
[root@ZTEST-163 yum.repos.d]# rbd showmapped
[root@ZTEST-163 yum.repos.d]# mkfs.xfs /dev/rbd0 
[root@ZTEST-163 yum.repos.d]# mount /dev/rbd0 /mnt

将/mnt作为数据卷挂载到容器内部

# 将本机的/mnt目录挂载到容器内部的/mydata下，这样再容器内部将数据放到/mydata时实际上是将数据放到了本机的/mnt目录下，也就是放到ceph集群中。 容器退出之后，在/mnt目录下的数据也不会丢失
docker run -it -v /mnt:/mydata ubuntu

这里只是初步的试验下可用、可行性，里面应该还有很多坑吧，还有其他方式可以将ceph RBD和docker集成的，后面研究之后在补充。

这里主要想将ceph三种客户端(FS/RBD/RGW)，在和ceph rados通信时经过了哪些模块简单描述下。

结构图

先上图(虽然画的有点丑…)，ceph官网上虽然有类似的架构图，但是画的有点太抽象了。不是很具体，这里稍微稍微的详细点吧？！

说明

RGW

RGW相对简单些，应用层直接通过librgw调用librados提供的接口，然后到达rados。没有什么好特别说明的。

RBD

RBD有两种方式将消息发送到rados层：

1.和librgw一样，应用层通过librbd调用librados提供的接口，将消息送达至rados层。

2.rbd.ko 它是一个内核模块，在该内核模块里面自己实现了类似osdc的功能，然后直接使用rados protocol和rados进行通信。

RGW

fs也有两种方式将消息送达到rados层：

1.libcephfs 看到lib这几个字母，是不是会认为它也是通过调用librados和raods进行通信的，其实在libcephfs内部自己也实现了osdc的功能，它不用调用librados，而直接和rados通信。

2.ceph.ko 它也是一个内核模块，它调用libceph.ko内核模块和rados进行通信。

前言

这里想介绍下，如何使用cephfs的FILE LAYOUTS功能来提升cephfs的读性能。

我们都知道ceph客户端在读数据的时候，ceph客户端通过crush算法算出自己所需的数据在哪个osd上，然后直接和这个osd通讯来获取数据。我们就利用这个很cool特性再结合cephfs的FILE LAYOUTS功能来提升集群的读性能。

总体思路就是让每个内核客户端（以下简称KC）的主本数据放在自己所在节点的osd上，这样读的时候就直接和本机上的osd通信读取数据，就不用跑到其他节点上去读取数据，从而避免在和其他节点通讯时的网络消耗。

注意FILE LAYOUTS这种方式有几个限制：

• KC需要挂载到集群的节点上
• 不能在多个KC上同时对同一个目录配置不同的FILE LAYOUTS（如果要实现需要自己改代码）

好了，下面就开始动手操作了。

环境介绍

下面把实验环境的操作系统版本及其内核版本、ceph的版本、以及搭建的ceph测试集群环境给出来，以供参考。如果你的环境和我下面给出的环境不一致也没关系。只要对比你环境在配置之前和配置之后的性能数据就可以了。

操作系统版本

[root@ceph01 ~]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core) 

操作系统内核版本

[root@ceph01 ~]# uname -a
Linux ceph01 4.17.3-1.el7.elrepo.x86_64 #1 SMP Tue Jun 26 10:14:25 EDT 2018 x86_64 x86_64 x86_64 GNU/Linux

ceph版本

[root@ceph01 ~]# ceph -v
ceph version 10.2.10 (5dc1e4c05cb68dbf62ae6fce3f0700e4654fdbbe)

测试集群初始环境

我们用ceph01、ceph02这两个节点（虚拟机）快速搭建一个单mon，单mds和4个osd的测试集群，用作下面的测试。

集群整体情况如下：

[root@ceph01 ~]# ceph -s
    cluster caf6dbda-86e7-4c4c-b8f7-a9a12d0a39b0
     health HEALTH_OK
     monmap e5: 1 mons at {ceph01=192.168.10.20:6789/0}
            election epoch 24, quorum 0 ceph01
      fsmap e69: 1/1/1 up {0=ceph01=up:active}
     osdmap e438: 4 osds: 4 up, 4 in
            flags sortbitwise,require_jewel_osds
      pgmap v167598: 256 pgs, 3 pools, 3618 MB data, 916 objects
            7529 MB used, 84563 MB / 92093 MB avail
                 256 active+clean

[root@ceph01 ~]# ceph osd tree
ID WEIGHT  TYPE NAME        UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05799 root default                                       
-2 0.02899     host ceph01                                    
 0 0.01500         osd.0         up  1.00000          1.00000 
 1 0.01500         osd.1         up  1.00000          1.00000 
-3 0.02899     host ceph02                                    
 2 0.01500         osd.2         up  1.00000          1.00000 
 3 0.01500         osd.3         up  1.00000          1.00000     

创建metadata和data池，然后创建名称叫做cephfs的ceph文件系统

[root@ceph01 ~]# ceph fs ls
name: cephfs, metadata pool: metadata, data pools: [data ]

然后在ceph01挂载cephfs的内核客户端，然后在集群目录里面创建一个testdir测试目录

[root@ceph01 ~]# mkdir /mycephfs
[root@ceph01 ~]# mount -t ceph 192.168.10.20:/ /mycephfs/
[root@ceph01 ~]# mkdir /mycephfs/testdir/

ok，初始的环境我们准备好了，下面开始配置。

获取基准性能数据

因为我们要看配置FILE LAYOUTS之前和配置FILE LAYOUTS之后的效果，所以在配置之前，需要先获取当前环境的性能，你根据你的实际情况来获取，你可能是通过CIFS、NFS或其他方式将cephfs给到客户端的，比如如果是CIFS，那就是在CIFS客户端用IO测试工具获取一组读数据，记录下来，之后配置好FILE LAYOUTS，再用相同的方式获取一组读数据，就可以对比了。

配置和测试过程

因为我们等下需要用到setfattr和getfattr命令，所以如果你的环境里面没有这两个命令的话，使用下面的命令安装下就好了：

[root@ceph01 ~]# yum install -y attr

配置crushmap

获取当前的crushmap如下：

# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable straw_calc_version 1

# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

# buckets
host ceph01 {
    id -2        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item osd.0 weight 0.015
    item osd.1 weight 0.015
}
host ceph02 {
    id -3        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item osd.2 weight 0.015
    item osd.3 weight 0.015
}
root default {
    id -1        # do not change unnecessarily
    # weight 0.058
    alg straw
    hash 0    # rjenkins1
    item ceph01 weight 0.029
    item ceph02 weight 0.029
}

# rules
rule replicated_ruleset {
    ruleset 0
    type replicated
    min_size 1
    max_size 10
    step take default
    step chooseleaf firstn 0 type host
    step emit
}
# end crush map

修改之后的crushmap如下：

# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable straw_calc_version 1

# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

# buckets
host ceph01 {
    id -2        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item osd.0 weight 0.015
    item osd.1 weight 0.015
}
host ceph02 {
    id -3        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item osd.2 weight 0.015
    item osd.3 weight 0.015
}
root default {
    id -1        # do not change unnecessarily
    # weight 0.058
    alg straw
    hash 0    # rjenkins1
    item ceph01 weight 0.029
    item ceph02 weight 0.029
    item ceph03 weight 0.029
}

root root_ceph01 {
    id -5        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item ceph01 weight 0.029
}
root root_ceph02 {
    id -6        # do not change unnecessarily
    # weight 0.029
    alg straw
    hash 0    # rjenkins1
    item ceph02 weight 0.029
}

# rules
rule replicated_ruleset {
    ruleset 0
    type replicated
    min_size 1
    max_size 10
    step take default
    step chooseleaf firstn 0 type host
    step emit
}
rule main_is_ceph01 {
    ruleset 1
    type replicated
    min_size 1
    max_size 10
    step take root_ceph01
    step chooseleaf firstn 1 type host
    step emit
    step take root_ceph02
    step chooseleaf firstn -1 type host
    step emit
}
# end crush map

配置存储池

创建1个池

[root@ceph01 ~]# ceph osd pool create mainisceph01 64 64
 # 设置主本全部放在ceph01这个节点上
[root@ceph01 ~]# ceph osd pool set mainisceph01 crush_ruleset 1

将池加入到cephfs的数据池集合

[root@ceph01 ~]# ceph fs add_data_pool cephfs mainisceph01
[root@ceph01 ~]# ceph fs ls
name: cephfs, metadata pool: metadata, data pools: [data mainisceph01]

配置FILE LAYOUTS

在ceph01节点上执行

[root@ceph01 ~]# setfattr -n ceph.dir.layout.pool -v mainisceph01 /mycephfs/cifs

好了，这就配置好了，可以使用ceph osd map命令试试看对象的映射分布情况

[root@ceph01 ~]# for i in `seq 1 100`;do ceph osd map mainisceph01 obj$i;done
osdmap e472 pool 'mainisceph01' (17) object 'obj1' -> pg 17.6cf8deff (17.3f) -> up ([0,3], p0) acting ([0,3], p0)
osdmap e472 pool 'mainisceph01' (17) object 'obj2' -> pg 17.3f1ee208 (17.8) -> up ([0,2], p0) acting ([0,2], p0)
osdmap e472 pool 'mainisceph01' (17) object 'obj3' -> pg 17.61f68bb1 (17.31) -> up ([0,2], p0) acting ([0,2], p0)
osdmap e472 pool 'mainisceph01' (17) object 'obj4' -> pg 17.a8759770 (17.30) -> up ([0,3], p0) acting ([0,3], p0)
osdmap e472 pool 'mainisceph01' (17) object 'obj5' -> pg 17.666934a3 (17.23) -> up ([0,2], p0) acting ([0,2], p0)
···

可以看到对象主本都是在osd.0上，osd.0是在ceph01上，这样读取数据的时候就不用去其他节点读取数据了，也就减少了数据在网络中的传输时间，从而提升读性能。

总结

最后我们把主要步骤整理下：

1. 修改crushmap，控制池里面对象的主副本分布；
2. 创建存储池并设置对应的rule；
3. 将存储池加入到cephfs的data池集合；
4. KC上面对需要配置FILE LAYOUTS的目录设置对应的pool；

前面也提到了，这种配置方式有一些限制，比如不能在多个KC上同时对同一个目录配置不同的pool（如果要实现需要自己改代码）。这里只是提供一种思路。实际测试读性能大概会提升40%左右。

1、环境说明

3台VMware虚拟机信息，以及准备部署的服务：

ceph05 192.168.10.30 mon、mgr、osd、mds

ceph06 192.168.10.31 mon、mgr、osd

ceph07 192.168.10.32 mon、mgr、osd

节点信息如下：

[root@ceph05 ~]# hostnamectl 
   Static hostname: ceph05
         Icon name: computer-vm
           Chassis: vm
        Machine ID: e8e9768445e2448fb3ff5e5b7138039c
           Boot ID: 47e7dd7c158e4becadb4f6987bfe263b
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-957.el7.x86_64
      Architecture: x86-64

2、准备工作

3个节点都需要操作：

1. 关闭firewalld、selinux
2. 配置/etc/hosts
3. 安装docker-ce，并启动docker和enable docker
4. 安装python36
5. 配置chrony，30节点为server，其他两个为client，如果不配置chrony或ntp，添加集群节点的时候会报错：

[root@ceph05 ~]# ceph orch host add ceph06
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
Error ENOENT: New host ceph06 (ceph06) failed check: ['INFO:cephadm:podman|docker (/bin/docker) is present', 'INFO:cephadm:systemctl is present', 'INFO:cephadm:lvcreate is present', "WARNING:cephadm:No time sync service is running; checked for ['chrony.service', 'chronyd.service', 'systemd-timesyncd.service', 'ntpd.service', 'ntp.service']", 'INFO:cephadm:Hostname "ceph06" matches what is expected.', 'ERROR: No time synchronization is active']

3、开始配置

Cephdm 通过先在单个主机上“引导”一个Ceph 集群，然后再扩展集群以包含任何其他主机，然后部署所需的服务。这里我们选择30节点为引导节点。

安装cephadm

1、获取cephadm脚本，这个脚本是python写的，下载地址是：https://raw.githubusercontent.com/ceph/ceph/octopus/src/cephadm/cephadm。

2、添加ceph源并安装cephadm包：

[root@ceph05 ~]# ./cephadm add-repo --release octopus
[root@ceph05 ~]# ./cephadm install
[root@ceph05 ~]# rpm -qa|grep ceph
cephadm-15.2.4-0.el7.x86_64

引导一个新集群

创建相关目录，并引导一个集群：

[root@ceph05 ~]# mkdir -p /etc/ceph
[root@ceph05 ~]# cephadm bootstrap --mon-ip 192.168.10.30
INFO:cephadm:Verifying podman|docker is present...
···
         URL: https://ceph05:8443/
        User: admin
    Password: ynh08y9mz1
···
INFO:cephadm:Bootstrap complete.

这个命令完成几个事情:

1、在30节点上创建mon和mgr守护进程。

2、为ceph集群生成一个新的SSH密钥，并将其添加到/root/.ssh/authorized_keys文件中。

3、生成配置文件/etc/ceph/ceph.conf。

[root@ceph05 ~]# cat /etc/ceph/ceph.conf 
# minimal ceph.conf for ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811
[global]
    fsid = ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811
    mon_host = [v2:192.168.10.30:3300/0,v1:192.168.10.30:6789/0]

4、生成/etc/ceph/ceph.client.admin.keyring。

5、将公钥的副本（就是步骤2里面生成的ssh公钥）写入/etc/ceph/ceph.pub。

访问集群

因为没有在节点上安装任何ceph软件包，所以不能和之前一样直接执行ceph命令。

cephdm shell 命令在一个容器中启动bash shell来连接到刚创建的ceph集群，这个容器中安装了所有ceph软件包。 默认情况下，使用/etc/ceph/下面的配置和密钥。为了方便使用，创建一个alias：

[root@ceph05 ~]# alias ceph='cephadm shell -- ceph'
[root@ceph05 ~]# ceph -s
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
  cluster:
    id:     8e5c4a46-bb82-11ea-9b65-000c29fb7811
    health: HEALTH_WARN
            Reduced data availability: 1 pg inactive
            OSD count 0 < osd_pool_default_size 3

  services:
    mon: 1 daemons, quorum ceph05 (age 15h)
    mgr: ceph05.nxiihf(active, since 14h)
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     100.000% pgs unknown
             1 unknown

也可以在节点上安装ceph-common包，然后直接通过ceph命令来访问集群：

$ cephadm install ceph-common

查看下启动的容器：

[root@ceph05 ~]# docker ps
CONTAINER ID        IMAGE                       COMMAND                  CREATED             STATUS              PORTS               NAMES
6def9562a206        ceph/ceph-grafana:latest    "/bin/sh -c 'grafana…"   31 seconds ago      Up 30 seconds                           ceph-ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811-grafana.ceph05
aa6c2c7360a1        ceph/ceph:v15               "/usr/bin/ceph-crash…"   2 minutes ago       Up 2 minutes                            ceph-ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811-crash.ceph05
f4f65eaf1c2b        prom/alertmanager:v0.20.0   "/bin/alertmanager -…"   2 minutes ago       Up 2 minutes                            ceph-ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811-alertmanager.ceph05
518a1c8d8025        ceph/ceph:v15               "/usr/bin/ceph-mgr -…"   4 minutes ago       Up 4 minutes                            ceph-ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811-mgr.ceph05.opycfi
5b7e67ce5c45        ceph/ceph:v15               "/usr/bin/ceph-mon -…"   4 minutes ago       Up 4 minutes                            ceph-ffa6fa3c-bb6b-11ea-9d9a-000c29fb7811-mon.ceph05

增加集群节点

把集群的SSH公钥放到ceph06和ceph07节点上，以便cephadm可以ssh免密管理这两个节点：

[root@ceph05 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph06
[root@ceph05 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph07

然后添加节点：

[root@ceph05 ~]# ceph orch host add ceph06
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
Added host 'ceph06'

[root@ceph05 ~]# ceph orch host add ceph07
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
Added host 'ceph07'

一般ceph集群应该部署3-5个mon，当cephadm知道mon应该使用什么ip子网时（默认使用第一个mon的ip子网），如果向集群中添加集群节点时，cephadm会自动在新节点上部署mon，默认最多部署五个mon（可以使用 ceph orch apply mon 来设置）。

因为cephadm是根据添加的集群节点自动的部署指定个数的mon，如果我们要在一组特定的主机上部署mon:

$ ceph orch apply mon *<host1,host2,host3,...>*    # 注意这里的hosts列表必须包含引导节点，这里就是30节点

如果mon应该使用特定的ip子网，则在增加集群节点之前设置：

$ ceph config set mon public_network xxx.xxx.xxx.xxx/xx

也可以给每个mon都指定自己的ip：

1、首先禁止自动部署mon：

$ ceph orch apply mon --unmanaged

2、添加mon服务：

$ ceph orch daemon add mon hostname:xxx.xxx.xxx.xxx/xx

部署osd

使用orch编排器增加osd：

[root@ceph05 ~]# ceph orch daemon add osd ceph05:/dev/sdb
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
Created osd(s) 0 on host 'ceph05'

[root@ceph05 ~]# ceph orch apply mds cephfs --placement="1 ceph05"
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
Scheduled mds.cephfs update..

配置cephfs

这个步骤和之前的差不多，创建pool，然后创建fs：

[root@ceph05 ~]# ceph osd pool create metadata 16 16
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
pool 'metadata' created

[root@ceph05 ~]# ceph osd pool create data 16 16
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
pool 'data' created

[root@ceph05 ~]# ceph fs new cephfs metadata data
INFO:cephadm:Inferring fsid 8e5c4a46-bb82-11ea-9b65-000c29fb7811
INFO:cephadm:Inferring config /var/lib/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/mon.ceph05/config
INFO:cephadm:Using recent ceph image ceph/ceph:v15
new fs with metadata pool 2 and data pool 3

挂载kc：

[root@ceph05 ceph]# ceph auth get-or-create client.guest mds 'allow' osd 'allow *' mon 'allow *' > ceph.client.guest.keyring
[root@ceph05 ceph]# mount -t ceph 192.168.10.30:/ /root/mnt/
[root@ceph05 ceph]# 
[root@ceph05 ceph]# df -h
Filesystem               Size  Used Avail Use% Mounted on
···
192.168.10.30:/           18G     0   18G   0% /root/mnt

最后的集群状态：

[root@ceph05 ~]# ceph -s
  cluster:
    id:     8e5c4a46-bb82-11ea-9b65-000c29fb7811
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph05,ceph06,ceph07 (age 7m)
    mgr: ceph07.czczlh(active, since 65m), standbys: ceph05.nxiihf
    mds: cephfs:1 {0=cephfs.ceph05.wxezvv=up:active}
    osd: 3 osds: 3 up (since 64m), 3 in (since 2h)

  task status:
    scrub status:
        mds.cephfs.ceph05.wxezvv: idle

  data:
    pools:   3 pools, 33 pgs
    objects: 22 objects, 2.7 KiB
    usage:   3.0 GiB used, 57 GiB / 60 GiB avail
    pgs:     33 active+clean

所有的ceph进程都是以容器方式启动：

[root@ceph06 ~]# docker ps
CONTAINER ID        IMAGE                        COMMAND                  CREATED             STATUS              PORTS               NAMES
0f1133e6b35d        ceph/ceph:v15                "/usr/bin/ceph-osd -…"   2 hours ago         Up 2 hours                              ceph-8e5c4a46-bb82-11ea-9b65-000c29fb7811-osd.1
084d7c5a7720        prom/node-exporter:v0.18.1   "/bin/node_exporter …"   2 hours ago         Up 2 hours                              ceph-8e5c4a46-bb82-11ea-9b65-000c29fb7811-node-exporter.ceph06
f28ec2e9782f        ceph/ceph:v15                "/usr/bin/ceph-mon -…"   2 hours ago         Up 2 hours                              ceph-8e5c4a46-bb82-11ea-9b65-000c29fb7811-mon.ceph06
0b373e81bb54        ceph/ceph:v15                "/usr/bin/ceph-crash…"   2 hours ago         Up 2 hours                              ceph-8e5c4a46-bb82-11ea-9b65-000c29fb7811-crash.ceph06

相关日志：

[root@ceph06 ~]# ll /var/log/ceph/
total 0
drwxrwx--- 2 167 167 51 Jul  2 09:20 8e5c4a46-bb82-11ea-9b65-000c29fb7811
[root@ceph06 ~]# ll /var/log/ceph/8e5c4a46-bb82-11ea-9b65-000c29fb7811/
total 416
-rw-r--r-- 1  167  167 106424 Jul  2 09:20 ceph-osd.1.log
-rw-r--r-- 1 root root 315891 Jul  2 11:33 ceph-volume.log

挂载情况：

[root@ceph06 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
···        
overlay                   17G  3.3G   14G  20% /var/lib/docker/overlay2/f09b8b105e4966ca4f4179d72df652625a616f1f7a8287368c8bdb8c5baeca58/merged
overlay                   17G  3.3G   14G  20% /var/lib/docker/overlay2/1165656fb80ee479f897e97424d152422418d889acc31da816d4b5fd02744177/merged
overlay                   17G  3.3G   14G  20% /var/lib/docker/overlay2/5d2500dcc5a784732d6f2671666d19f3513ce1548f7850f39c1a209864e48627/merged
overlay                   17G  3.3G   14G  20% /var/lib/docker/overlay2/143b664b67fbebc92d4522c91233d0905341e791881af1ffff18c8977af21f1e/merged

4、主要区别

• 管理思想上和之前的有较大区别。
• 使用容器来运行ceph相关进程。
• 部署节点不用安装ceph相关软件包以及其依赖包，对系统本身干扰较小。
• 集群整个管理方式有点像k8s。
• 其他日常运维指令方便也有很多不同，比如重启osd服务，使用 ceph orch restart ceph-osd@1 等。

5、问题

后面继续更新。

1. 简介

ceph提供的一个操作pg及pg里面的对象的工具。

2. 使用

2.1 通用示例

ceph-objectstore-tool --data-path <path to object store> --journal-path <path to journal> --type <filestore (default), memstore> --op <op type>

• –data-path是指osd的数据目录，比如：/var/lib/ceph/osd/ceph-0/
• –journal-path是指osd的journal路径，比如：/var/lib/ceph/osd/ceph-0/journal
• –type是指osd后端存储的存储引擎，现在有filestore和memstore两种，默认是filestore
• –op是指具体的操作类型，有info, log, remove, mkfs, fsck, fuse, export, import, list, fix-lost, list-pgs, rm-past-intervals, dump-journal, dump-super, meta-list, get-osdmap, set-osdmap, get-inc-osdmap, set-inc-osdmap, mark-complete这些操作。

2.2 具体示例

列举几个常用的示例

这里要注意下使用该工具操作某个osd时，必须要先停止该osd，否则会得到报错：OSD has the store locked

2.2.1 列出指定osd上的pg

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --type filestore --op list-pgs
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
0.0
2.2b
0.3
2.f
2.38
0.5
0.6
1.2f
...

2.2.2 查看指定osd上指定pg的详细信息

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --pgid 0.0 --op info
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
{
    "pgid": "0.0",
    "last_update": "159'34",
    "last_complete": "159'34",
    "log_tail": "0'0",
    "last_user_version": 30,
    "last_backfill": "MAX",
    "last_backfill_bitwise": 0,
    "purged_snaps": "[1~3]",
    "history": {
        "epoch_created": 1,
        "last_epoch_started": 211,
        "last_epoch_clean": 211,
        "last_epoch_split": 0,
        "last_epoch_marked_full": 0,
        "same_up_since": 209,
        "same_interval_since": 210,
        "same_primary_since": 210,
        "last_scrub": "159'34",
        "last_scrub_stamp": "2018-07-25 06:28:32.362059",
        "last_deep_scrub": "159'34",
        "last_deep_scrub_stamp": "2018-07-19 01:26:45.229169",
        "last_clean_scrub_stamp": "2018-07-25 06:28:32.362059"
    },
    ···

2.2.3 列出指定osd上指定pg里面对象

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --type filestore  --pgid 0.0 --op list
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
["0.0",{"oid":"rbd_data.d3716b8b4567.0000000000000090","key":"","snapid":-2,"hash":2156491776,"max":0,"pool":0,"namespace":"","max":0}]
["0.0",{"oid":"rbd_data.d3716b8b4567.0000000000000149","key":"","snapid":-2,"hash":136847872,"max":0,"pool":0,"namespace":"","max":0}]
["0.0",{"oid":"rbd_data.d3716b8b4567.00000000000000c3","key":"","snapid":-2,"hash":542082304,"max":0,"pool":0,"namespace":"","max":0}]
["0.0",{"oid":"rbd_data.d3716b8b4567.000000000000024f","key":"","snapid":-2,"hash":4017789824,"max":0,"pool":0,"namespace":"","max":0}]
["0.0",{"oid":"rbd_data.d3716b8b4567.0000000000000197","key":"","snapid":-2,"hash":957173632,"max":0,"pool":0,"namespace":"","max":0}]

2.2.4 导出备份pg和导入pg

一般用在解决pg状态不对，比如incomplete，此时就会用到将pg导出之后再导入。

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --pgid 0.36 --op export --file 0.0
[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --op import --file 0.0

2.2.5 把状态incomplete的pg，标记为complete

比如：pg 1.1是incomplete，先对比pg 1.1的主副本之间 pg里面的对象数 哪个对象数多 就把哪个pg export出来
然后import到对象数少的pg里面 然后再mark complete，一定要先export pg备份。

查看pg 1.1主副本里面的对象数，假设主本对象数多，则到主本所在osd节点执行

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --pgid 1.1 --op export --file /home/pg1.1

然后将/home/pg1.1 scp到副本所在节点（有多个副本，每个副本都要这么操作），然后到副本所在节点执行

[root@ceph02 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-1/ --journal-path /var/lib/ceph/osd/ceph-1/journal --pgid 1.1 --op import --file /home/pg1.1

然后再makr complete

[root@ceph02 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-1/ --journal-path /var/lib/ceph/osd/ceph-1/journal --pgid 1.1 --op mark-complete

2.2.6 删除pg

这个操作一般用在pg里面的某个对象的损坏了，比如元数据丢失，就会导致客户端读取请求卡住，此时可以删除pg之后，然后再repair pg来恢复。当然remove pg之前要记住使用export将pg导出备份。

[root@ceph01 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0/ --journal-path /var/lib/ceph/osd/ceph-0/journal --pgid 0.0 --op remove

前言

这里想总结下，平时遇到的ceph rgw相关的故障和对应的处理方法。方便下次遇到类似问题之后，能快速有效的找到解决方案。这里故障案例的来源我是会从各种渠道去收集的，比如：自身环境、官网、群友在群里反馈等等地方。

有时间会持续更新。

1、radosgw请求被卡住

现象

有时候radosgw的客户端（比如s3cmd），在和radosgw交互过程中出现卡顿，radosgw响应请求非常慢等状况。

分析

首先我们先检查下客户端和集群的网络有没有问题，如果没有问题。我们可以通过radosgw的守护进程的管理套接字来获取radosgw的内部相关信息。到radosgw实例所在节点上执行如下命令：

$ ceph daemon client.rgw.ceph03 objecter_requests
{ "ops": [
  { "tid": 1858,
    "pg": "2.d2041a48",
    "osd": 1,
    "last_sent": "2012-03-08 14:56:37.949872",
    "attempts": 1,
    "object_id": "fatty_25647_object1857",
    "object_locator": "@2",
    "snapid": "head",
    "snap_context": "0=[]",
    "mtime": "2012-03-08 14:56:37.949813",
    "osd_ops": [
          "write 0~4096"]},
  { "tid": 1873,
    "pg": "2.695e9f8e",
    "osd": 1,
    "last_sent": "2012-03-08 14:56:37.970615",
    "attempts": 1,
    "object_id": "fatty_25647_object1872",
    "object_locator": "@2",
    "snapid": "head",
    "snap_context": "0=[]",
    "mtime": "2012-03-08 14:56:37.970555",
    "osd_ops": [
          "write 0~4096"]}],
"linger_ops": [],
"pool_ops": [],
"pool_stat_ops": [],
"statfs_ops": []
}

上面命令输出里面的ops字段里面可以看到有两个请求，tid为1858和tid为1873的请求。我们拿tid为1858的请求举例说明，这个请求信息为

{ "tid": 1858,
    "pg": "2.d2041a48",
    "osd": 1,
    "last_sent": "2012-03-08 14:56:37.949872",
    "attempts": 1,
    "object_id": "fatty_25647_object1857",
    "object_locator": "@2",
    "snapid": "head",
    "snap_context": "0=[]",
    "mtime": "2012-03-08 14:56:37.949813",
    "osd_ops": [
          "write 0~4096"]}

其中last_sent字段表示发送给rados请求的时间，如果这个时间和当前时间相差间隔比较大，说明这个发送给rados的请求，rados一直没有回应，导致radosgw无法回复客户端（s3cmd）请求，所以客户端s3cmd就会出现卡顿的情况。

好了，我们知道了原因，然后在继续看osd这个字段，它表示radosgw将这个请求发给了哪个osd，上面可以看到是发给了osd.1这个osd，pg是2.d2041a48，然后我们执行

$ ceph pg map 2.d2041a48
osdmap e9 pg 2.d2041a48 (2.0) -> up [1,0] acting [1,0]

可以看到，这个pg的主本是osd.1，副本是osd.0，然后我们到osd.1所在的节点，执行命令

$ ceph deamon osd.1 ops
{ "num_ops": 651,
 "ops": [
       { "description": "osd_op(client.4124.0:1858 fatty_25647_object1857 [write 0~4096] 2.d2041a48)",
         "received_at": "1331247573.344650",
         "age": "25.606449",
         "flag_point": "waiting for sub ops",
         "client_info": { "client": "client.4124",
             "tid": 1858}},
...

上面信息中找到tid为1858这个请求的相关信息，然后看到flag_point这个字段，waiting for sub ops表示在等待其他副本osd.0的回复。
现在我们知道了是因为osd.0没有回复消息给主本osd.1，从而导致整个io被卡住，因为osd.0没有回复消息的可能性非常多，所以就要根据实际的情况去排查osd.0为啥没有回复消息给主本osd.1了。

2018/7/13 ypdai

前言

简单介绍下bcache，bcache是linux内核块设备层的cache。主要是使用SSD盘在IO速度较慢的HDD盘上面做一层缓存，从而来提高HDD盘的IO速率。一个缓存设备(SSD)可以同时为多个后端设备(HDD)提供缓存。既然是缓存，那自然就会想到缓存策略，bcache支持三种缓存策略：

• writeback：回写策略，所有的数据将先写入缓存盘，然后等待系统将数据回写入后端数据盘中。
• writethrough：直写策略(默认策略)，数据将会同时写入缓存盘和后端数据盘。
• writearoud：数据将直接写入后端磁盘。

bcache比较灵活，缓存策略可以随时修改，也可以针对不同的bcache设备设置不同的缓存策略。以下会按照安装、配置和使用这几个部分来说明具体使用bcache的过程。

准备环境

bcache可以大概分为两个部分，一个是linux内核模块，一个是bcache-tools，bcache内核模块在linux内核3.10及以上才支持，所以使用bcache，需要将内核升级到3.10及以上版本才行。因为我们的集群环境是要求内核版本是4.4.13，所以下面的示例会在内核4.4.13上进行。

升级内核步骤也比较简单，下载指定内核rpm包，然后安装，再修改grub，最后重启就可以啦。以下是我测试的环境：

[root@lab01 ~]# cat /etc/redhat-release 
CentOS Linux release 7.2.1511 (Core)

[root@lab01 ~]# uname -a
Linux lab01 4.4.13-1.el7.elrepo.x86_64 #1 SMP Wed Jun 8 13:15:59 EDT 2016 x86_64 x86_64 x86_64 GNU/Linux

因为只是测试，这里我准备的是一台虚拟机，然后配置了两块磁盘(sdb和sdc)来做试验：

[root@lab01 ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-root 253:0    0 17.5G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
sdc               8:32   0   20G  0 disk 
sr0              11:0    1    4G  0 rom

安装

安装bcache-tools

安装依赖libblkid-devel

$ yum install libblkid-devel -y

下载bcache-tools源码，并安装

$ git clone https://github.com/g2p/bcache-tools.git
$ cd bcache-tools
$ make && make install

然后测试bache-tools是否正确安装

[root@lab01 bcache-tools]# make-bcache
Please supply a device
Usage: make-bcache [options] device
    -C, --cache        Format a cache device
    -B, --bdev        Format a backing device
    -b, --bucket        bucket size
    -w, --block        block size (hard sector size of SSD, often 2k)
    -o, --data-offset    data offset in sectors
        --cset-uuid        UUID for the cache set
        --writeback        enable writeback
        --discard        enable discards
        --cache_replacement_policy=(lru|fifo)
    -h, --help        display this help and exit

ok，已经正确安装了，下面开始配置。

配置使用

前面也说到了，bcache说白了就是为一块io速率不高的磁盘配置一个io速率较高的缓存层。那就是说可以分为两个部分，一部分是速率较低的设备，一部分是速率较高的部分，然后将这两部分建立一个映射关系，这样客户端在写数据的时候，IO数据先到达高速的缓存设备(和缓存策略有关系，这里我们先这里理解就可以了)，从而提高客户端io速率。

创建后端低速设备

我们把/dev/sdb配置为后端低速设备(一般是HDD、SATA盘等)

[root@lab01 bcache-tools]# make-bcache -B /dev/sdb
UUID:            ac23506f-396d-4ac1-8949-d1e5c79ef207
Set UUID:        d40d7d90-d15f-4744-a56e-29d0ed5446f4
version:        1
block_size:        1
data_offset:        16

可以看到，在sdb(HDD)磁盘下，出现了bcache0节点，这个bcache0可以理解为就是/dev/sdb磁盘了

[root@lab01 bcache-tools]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-root 253:0    0 17.5G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
└─bcache0       252:0    0   20G  0 disk 
sdc               8:32   0   20G  0 disk 
sr0              11:0    1    4G  0 rom

现在，可以像普通磁盘一样，对bcache0进行格式化操作了。

[root@lab01 bcache-tools]# mkfs.xfs /dev/bcache0
meta-data=/dev/bcache0           isize=256    agcount=4, agsize=1310720 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=5242878, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

[root@lab01 bcache-tools] mkdir /testbcache
[root@lab01 bcache-tools] mount /dev/bcache0 /testbcache
[root@lab01 bcache-tools]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 2.0G     0  2.0G   0% /dev
tmpfs                    2.0G     0  2.0G   0% /dev/shm
tmpfs                    2.0G  8.6M  2.0G   1% /run
tmpfs                    2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/mapper/centos-root   18G  1.6G   16G   9% /
/dev/sda1                497M  170M  328M  35% /boot
tmpfs                    394M     0  394M   0% /run/user/0
/dev/bcache0              20G   33M   20G   1% /testbcache

创建前端缓存磁盘（SSD）

我们把/dev/sdc配置为前端高速设备(一般是SSD)

[root@lab01 bcache-tools]#  make-bcache -C /dev/sdc
UUID:            9c5a00ff-4c32-4d0b-a6d2-ccd21e17e230
Set UUID:        8cae4fac-1312-4b0a-8bf7-2142dae5a334
version:        0
nbuckets:        40960
block_size:        1
bucket_size:        1024
nr_in_set:        1
nr_this_dev:        0
first_bucket:        1

建立映射关系

把我们创建好的后端低速设备和前端高速设备建立联系，这样高速设备才能为低速设备提供缓存作用。

首先需要获取该缓存盘(/dev/sdc)的cset.uuid，通过bcache-super-show命令查看：

[root@lab01 bcache-tools]# bcache-super-show /dev/sdc
sb.magic        ok
sb.first_sector        8 [match]
sb.csum            D2BA585E4E51AD5C [match]
sb.version        3 [cache device]

dev.label        (empty)
dev.uuid        9c5a00ff-4c32-4d0b-a6d2-ccd21e17e230
dev.sectors_per_block    1
dev.sectors_per_bucket    1024
dev.cache.first_sector    1024
dev.cache.cache_sectors    41942016
dev.cache.total_sectors    41943040
dev.cache.ordered    yes
dev.cache.discard    no
dev.cache.pos        0
dev.cache.replacement    0 [lru]

cset.uuid        8cae4fac-1312-4b0a-8bf7-2142dae5a334

上面的cset.uuid后面的8cae4fac-1312-4b0a-8bf7-2142dae5a334就是我们需要的cset uuid，因为我们要和bcache0设备(也就是/dev/sdb设备)建立联系，从而是该缓存设备(/dev/sdc)，为bcache0设备提供缓存服务，所以执行下面命令

[root@lab01 bcache-tools]# echo "8cae4fac-1312-4b0a-8bf7-2142dae5a334" > /sys/block/bcache0/bcache/attach

操作完成后，可以通过lsblk命令查看结果

[root@lab01 bcache-tools]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-root 253:0    0 17.5G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
└─bcache0       252:0    0   20G  0 disk /testbcache
sdc               8:32   0   20G  0 disk 
└─bcache0       252:0    0   20G  0 disk /testbcache
sr0              11:0    1    4G  0 rom

此时可以看到，sdc下也出现了bcache0设备，即表示缓存添加成功。还记得我们之前将bcache0(也就是/dev/sdb)挂载到了/testbcache目录下，此时如果对/testbcache进行读写操作时，bcache缓存设备就会起缓存作用了。

快速配置方式

上面我们配置大概分了三个步骤：创建后端设备、创建前端缓存设备、建立他们之间的映射关系。那有没有一步到位的方式，当然有。

make-bcache -C /dev/sde -B /dev/sdb /dev/sdc /dev/sdd

上面这条命令，就自动的完成了那三个步骤，执行完看到的结果大概是这样的

...
sdb 254:16 0 50G 0 disk
└─bcache1 250:1 0 50G 0 disk
sdc 254:32 0 50G 0 disk
└─bcache0 250:0 0 50G 0 disk
sdd 254:48 0 50G 0 disk
└─bcache2 250:2 0 50G 0 disk
sde 254:64 0 10G 0 disk
├─bcache0 250:0 0 50G 0 disk
├─bcache1 250:1 0 50G 0 disk
└─bcache2 250:1 0 50G 0 disk
...

可以看到前端缓存设备sde同时为后端设备sdb、sdc、sdd提供缓存作用。

注：还可以在make-bcache的时候加入-w和-b参数，主要是提高缓存性能

-w block size 默认2K，一般需要block size = 后端设备的扇区大小。
-b bucket size，一般需要bucket size = 前端缓存设备的erase block size大小。*

修改缓存策略

查看缓存策略，可以看到默认的策略是writethrough，也就是直写模式

[root@lab01 bcache-tools]# cat /sys/block/bcache0/bcache/cache_mode 
[writethrough] writeback writearound none

修改缓存策略

[root@lab01 bcache-tools]# echo writeback > /sys/block/bcache0/bcache/cache_mode

然后查看是否生效

[root@lab01 bcache-tools]# cat /sys/block/bcache0/bcache/cache_mode 
writethrough [writeback] writearound none

注：就算机器重启之后缓存策略也不会失效的。

增加后端设备或前端缓存设备

有时候我们已经配置好了bcache，比如配置好了sde为sdb、sdc提供缓存作用，然后我现在想让sde为sdd也提供缓存作用。可以按照以下步骤进行：

1. 配置后端设备：make-bcache -B /dev/sdd，假设生成bcache设备号为bcache2
2. 建立映射关系：echo "8cae4fac-1312-4b0a-8bf7-2142dae5a334" > /sys/block/bcache2/bcache/attach

ok，完成。增加缓存设备也同理，先创建前端缓存设备，然后查看该缓存设备的cset uuid，然后根据cset uuid和后端设备建立映射关系即可。

恢复(还原到配置bcache之前)

我们经过上面的测试之后，也许我不需要bcache配置了，需要恢复到配置之前的环境，bcache肯定支持还原啦。

解除缓存盘和后端盘关系

要将缓存盘从当前的后端磁盘删除，只需将缓存盘的cset.uuid detach到bcache设备即可实现

[root@lab01 bcache-tools]# echo "8cae4fac-1312-4b0a-8bf7-2142dae5a334" > /sys/block/bcache0/bcache/detach

操作完成后，可以通过lsblk命令查看结果

[root@lab01 bcache-tools]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-root 253:0    0 17.5G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
└─bcache0       252:0    0   20G  0 disk /testbcache
sdc               8:32   0   20G  0 disk 
sr0              11:0    1    4G  0 rom

可以看到sdc下面已经没有bcache0了。

删除前端缓存盘

这里要注意，在注销缓存盘前，要确认该缓存设备没有被任何的后端设备使用，否则你懂的，会有数据丢失的风险。

通过缓存盘的cset.uuid，在/sys/fs/bcache/<cset.uuid>/unregister写入1,即可进行注销操作

[root@lab01 bcache-tools]# echo 1 >/sys/fs/bcache/8cae4fac-1312-4b0a-8bf7-2142dae5a334/unregister

然后ls查看/sys/fs/bcache/，如果没有8cae4fac-1312-4b0a-8bf7-2142dae5a334这个目录，就表示注销成功了。

删除后端盘

同理，要删除后端缓存盘，首先需要解除该后端盘和它使用的缓存盘之间的映射关系

[root@lab01 bcache-tools]# umount /testbcache/
[root@lab01 bcache-tools]# echo 1 > /sys/block/bcache0/bcache/stop
[root@lab01 bcache-tools]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0  500M  0 part /boot
└─sda2            8:2    0 19.5G  0 part 
  ├─centos-root 253:0    0 17.5G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
sdc               8:32   0   20G  0 disk 
sr0              11:0    1    4G  0 rom

可以看到，环境已经恢复到配置bcache之前的了。

总结

bcache作用就是使用ssd在hdd的上层做一层缓存，从而提高客户端的io速率。

配置过程分为三个步骤：

1. 配置后端设备
2. 配置前端缓存设备
3. 建立前两者的映射关系

当然后端设备也可以是ceph集群提供的rbd块设备。比如在ceph的客户端创建rbd块，然后map到本地，然后用ssd+bcache对其做缓存加速。