- 创建一个pool，创建rbd设备并挂载；
- 用户写入数据，ceph进行对数据切块，每个块的大小默认为4M，每个块名字是object+序号；
- 将每个object通过哈希算法分配给对应的pg；
- pg根据crush算法会寻找3个osd（假设副本数为3），把这object分别保存在这3个osd上存储，这一组osd就是pgp的概念；
- osd实际把硬盘格式化为xfs文件系统，object存储在这个文件系统就相当于存储了一个文件rbd0.object1.file
创建存储池
ceph osd pool create rbd ceph osd pool application enable rbd rbd
初始化存储池
rbd pool init rbd
在n1上面创建一个使用rbd映像的用户client
ceph auth get-or-create client.rbd mon 'profile rbd' osd 'profile rbd' -o /etc/ceph/ceph.client.rbd.keyring
获取相关的key
cat /etc/ceph/ceph.client.rbd.keyringkey = AQCvjQdptxg1HxAAC8Pao7fjRbPCxJTb9AUJzg==
客户端的配置
客户端安装ceph-common
yum install ceph-common -y --nobest
将n1节点的/etc/ceph/ceph.client.rbd.keyring复制到客户端同样的位置
再将 ceph 集群的配置文件也拷贝到 Client 主机中，具体命令如下
scp /etc/ceph/ceph.conf root@192.168.62.140:/etc/ceph/
在客户端查看ceph集群里面的池，不报错则表示客户端配置无误
ceph osd pool ls --id rbd --keyring=/etc/ceph/ceph.client.rbd.keyring
在客户端使用client.rbd用户创建一个rbd映像文件
rbd --name client.rbd create rbd/test --size 1G --image-format 2 --image-feature layering
客户端加载rbd模块
modprobe rbd
查看一下是否成功
lsmod |grep rbd
设置开机自动加载
#echo "modprobe rbd" > /etc/sysconfig/modules/rbd.modules
echo "rbd" > /etc/modules-load.d/rbd.conf
临时映射
rbd --name client.rbd map rbd/test
设置开机自动映射
sudo vim /etc/ceph/rbdmap
rbd/test id=rbd,keyring=/etc/ceph/ceph.client.rbd.keyring
systemctl start rbdmap systemctl enable rbdmap
加载rbd模块
modprobe rbd lsmod |grep rbd
设置开机自动加载
#echo "modprobe rbd" > /etc/sysconfig/modules/rbd.modules
echo "rbd" > /etc/modules-load.d/rbd.conf
临时映射
rbd --name client.rbd map rbd/test
设置开机自动映射
sudo vim /etc/ceph/rbdmap
rbd/test id=rbd,keyring=/etc/ceph/ceph.client.rbd.keyring
systemctl start rbdmap systemctl enable rbdmap
加载rbd模块
modprobe rbd lsmod |grep rbd
设置开机自动加载
#echo "modprobe rbd" > /etc/sysconfig/modules/rbd.modules
echo "rbd" > /etc/modules-load.d/rbd.conf
mkfs.xfs /dev/rbd0 mkdir -p /mnt/rbd0 mount /dev/rbd0 /mnt/rbd0
设置开机自动挂载
echo "/dev/rbd0 /mnt/rbd0 xfs defaults,_netdev 0 0" > /etc/fstab
cd /mnt/rbd0
dd if=/dev/zero of=./test.img bs=1M count=100
rbd create [poolname/]testimg --size <size> [-m monitor] [-k keyring] [--image-format 1|2] [--image-feature feature] [--stripe-unit size --stripe-count count]
