0
点赞
收藏
分享

微信扫一扫

CL260 学习笔记(三)

Ceph 存储池

CL260 学习笔记(三)_Ceph存储池

CL260 学习笔记(三)_纠删码池_02

CL260 学习笔记(三)_Ceph存储池_03

CL260 学习笔记(三)_Ceph存储池_04

如果PG 太多,对象太少,会造成大量的空间浪费;

如果PG 太少,对象太多,寻找对象的时间过长,影响性能。

CL260 学习笔记(三)_Ceph存储池_05

CL260 学习笔记(三)_CL260_06

CL260 学习笔记(三)_学习笔记_07

ceph osd pool create --help

CL260 学习笔记(三)_CL260_08

CL260 学习笔记(三)_复制池_09

CL260 学习笔记(三)_Ceph存储池_10

CL260 学习笔记(三)_纠删码池_11

CL260 学习笔记(三)_复制池_12

usage 那一行显示的是存储池内所有pg 的容量之和。

CL260 学习笔记(三)_Ceph存储池_13

CL260 学习笔记(三)_学习笔记_14

这里提出一个问题:pg_num 是32 个,那么osd 上有多少个pg?

这是一个replicated(副本)池,size 是3,表示是3 副本,那么osd 上有32*3=96 个pg;

理论上osd 上的pg_num 不能超过250 个,所以如果你再新建几个存储池,很快就会触发限制,以致于存储池无法创建;

所以在生产环境上,如果一个ceph 集群的osd 数量不是很多,只有十几块、几十块磁盘,那么存储池通常只有几个,如果存储池的数量特别多,说明这个ceph 集群的规模特别大;

所以,ceph -s 命令查看到的65 个pg 是相对于集群而言的pg 数量,对于osd,还要看单个存储池的pg_num 乘以它的副本数。

CL260 学习笔记(三)_纠删码池_15

ceph pg dump pgs_brief

CL260 学习笔记(三)_纠删码池_16

pool 的id 是3,查看以3 开头的pg:

ceph pg dump pgs_brief | grep '^3'

CL260 学习笔记(三)_纠删码池_17

CL260 学习笔记(三)_学习笔记_18

32 行,每一行都是一个pg,所以pool 3 有32 个pg;

那么这个32 个pg,怎么查看每一个pg 的主osd 和从osd 呢?

CL260 学习笔记(三)_CL260_19

以3.2 这个pg 为例:第一列是pg 的编号,第二列是pg 的状态,现在是干净可用的,第三列表示3.2 这个pg 归属到[1,9,5] 这三个osd 上,第一个1 就是主osd,后面的9 和5 是从osd,第四列显示的就是主osd 的编号,第五列显示的是可用的osd,第六列显示的是可用的主osd

CL260 学习笔记(三)_学习笔记_20

再回头看这一段:pg_num 是32,pgp_num 也是32,表示在pool 3 上,在单个副本32 个pg 上做了32 种排列组合;

如果pgp_num 数量较少,会导致有部分osd 不会承担主osd 的角色,负载不

均衡。

CL260 学习笔记(三)_纠删码池_21

CL260 学习笔记(三)_CL260_22

CL260 学习笔记(三)_CL260_23

CL260 学习笔记(三)_学习笔记_24

CL260 学习笔记(三)_Ceph存储池_25

CL260 学习笔记(三)_纠删码池_26

CL260 学习笔记(三)_学习笔记_27

CL260 学习笔记(三)_CL260_28

CL260 学习笔记(三)_CL260_29

CL260 学习笔记(三)_CL260_30

CL260 学习笔记(三)_Ceph存储池_31

CL260 学习笔记(三)_纠删码池_32

CL260 学习笔记(三)_Ceph存储池_33

CL260 学习笔记(三)_学习笔记_34

rados --help

CL260 学习笔记(三)_Ceph存储池_35

CL260 学习笔记(三)_纠删码池_36

CL260 学习笔记(三)_纠删码池_37

CL260 学习笔记(三)_CL260_38

CL260 学习笔记(三)_Ceph存储池_39

CL260 学习笔记(三)_纠删码池_40

这里列出来passwd 是对象名,不要把它看成是一个文件名。

CL260 学习笔记(三)_CL260_41

因为passwd 文件不足默认切片大小4M,这里看到的USED 值应是按照4k 的大小来切片的,否则浪费的存储空间就太多了,副本数是3,存储3份,就是4k * 3=12k

CL260 学习笔记(三)_复制池_42

CL260 学习笔记(三)_纠删码池_43

CL260 学习笔记(三)_复制池_44

CL260 学习笔记(三)_学习笔记_45

CL260 学习笔记(三)_Ceph存储池_46

CL260 学习笔记(三)_学习笔记_47

CL260 学习笔记(三)_Ceph存储池_48

CL260 学习笔记(三)_纠删码池_49

Ceph 的底层其实就是一个rados,生产环境上当然不会用rados 命令来进行存储,这仅仅只是为了测试或实验。

CL260 学习笔记(三)_复制池_50

CL260 学习笔记(三)_Ceph存储池_51

CL260 学习笔记(三)_学习笔记_52

CL260 学习笔记(三)_复制池_53

CL260 学习笔记(三)_CL260_54

CL260 学习笔记(三)_复制池_55

CL260 学习笔记(三)_Ceph存储池_56

CL260 学习笔记(三)_学习笔记_57

CL260 学习笔记(三)_Ceph存储池_58

CL260 学习笔记(三)_学习笔记_59

CL260 学习笔记(三)_纠删码池_60

如果你想要定位一个对象存储到了哪一个节点的哪一个磁盘上,就像上面这样操作,但是不能挂载起来进去查看文件,因为ceph 现在使用的是bluestore 驱动直接使用裸磁盘。

CL260 学习笔记(三)_CL260_61

CL260 学习笔记(三)_CL260_62

CL260 学习笔记(三)_学习笔记_63

CL260 学习笔记(三)_复制池_64

CL260 学习笔记(三)_Ceph存储池_65

CL260 学习笔记(三)_纠删码池_66

CL260 学习笔记(三)_Ceph存储池_67

CL260 学习笔记(三)_纠删码池_68

CL260 学习笔记(三)_CL260_69

CL260 学习笔记(三)_复制池_70

CL260 学习笔记(三)_Ceph存储池_71

CL260 学习笔记(三)_复制池_72

CL260 学习笔记(三)_Ceph存储池_73

CL260 学习笔记(三)_Ceph存储池_74

CL260 学习笔记(三)_CL260_75

CL260 学习笔记(三)_Ceph存储池_76

CL260 学习笔记(三)_纠删码池_77

CL260 学习笔记(三)_纠删码池_78

CL260 学习笔记(三)_纠删码池_79

CL260 学习笔记(三)_复制池_80

CL260 学习笔记(三)_Ceph存储池_81

CL260 学习笔记(三)_学习笔记_82

CL260 学习笔记(三)_CL260_83

CL260 学习笔记(三)_复制池_84

CL260 学习笔记(三)_CL260_85

CL260 学习笔记(三)_学习笔记_86

CL260 学习笔记(三)_Ceph存储池_87

CL260 学习笔记(三)_CL260_88

CL260 学习笔记(三)_纠删码池_89

CL260 学习笔记(三)_纠删码池_90

CL260 学习笔记(三)_纠删码池_91

CL260 学习笔记(三)_CL260_92

CL260 学习笔记(三)_学习笔记_93

CL260 学习笔记(三)_学习笔记_94

CL260 学习笔记(三)_学习笔记_95

CL260 学习笔记(三)_Ceph存储池_96

CL260 学习笔记(三)_学习笔记_97

CL260 学习笔记(三)_纠删码池_98

CL260 学习笔记(三)_学习笔记_99

CL260 学习笔记(三)_Ceph存储池_100

CL260 学习笔记(三)_CL260_101

CL260 学习笔记(三)_纠删码池_102

CL260 学习笔记(三)_CL260_103

CL260 学习笔记(三)_Ceph存储池_104

CL260 学习笔记(三)_复制池_105

CL260 学习笔记(三)_复制池_106

CL260 学习笔记(三)_复制池_107

CL260 学习笔记(三)_学习笔记_108

CL260 学习笔记(三)_纠删码池_109

CL260 学习笔记(三)_CL260_110

CL260 学习笔记(三)_Ceph存储池_111

CL260 学习笔记(三)_复制池_112

CL260 学习笔记(三)_学习笔记_113

CL260 学习笔记(三)_纠删码池_114

CL260 学习笔记(三)_纠删码池_115

CL260 学习笔记(三)_纠删码池_116

CL260 学习笔记(三)_学习笔记_117

CL260 学习笔记(三)_学习笔记_118

CL260 学习笔记(三)_CL260_119

CL260 学习笔记(三)_学习笔记_120

CL260 学习笔记(三)_复制池_121

CL260 学习笔记(三)_复制池_122

现在ceph 集群会自动调整pg 数量,这个公式只需要了解就行了。

CL260 学习笔记(三)_学习笔记_123

CL260 学习笔记(三)_CL260_124

CL260 学习笔记(三)_纠删码池_125

CL260 学习笔记(三)_学习笔记_126

CL260 学习笔记(三)_CL260_127

CL260 学习笔记(三)_纠删码池_128

CL260 学习笔记(三)_复制池_129

CL260 学习笔记(三)_Ceph存储池_130

CL260 学习笔记(三)_复制池_131

CL260 学习笔记(三)_CL260_132

CL260 学习笔记(三)_纠删码池_133

CL260 学习笔记(三)_学习笔记_134

CL260 学习笔记(三)_纠删码池_135

CL260 学习笔记(三)_纠删码池_136

CL260 学习笔记(三)_Ceph存储池_137

CL260 学习笔记(三)_Ceph存储池_138

CL260 学习笔记(三)_纠删码池_139

CL260 学习笔记(三)_学习笔记_140

CL260 学习笔记(三)_复制池_141

CL260 学习笔记(三)_学习笔记_142

CL260 学习笔记(三)_学习笔记_143

CL260 学习笔记(三)_Ceph存储池_144

CL260 学习笔记(三)_复制池_145

CL260 学习笔记(三)_纠删码池_146

CL260 学习笔记(三)_CL260_147

CL260 学习笔记(三)_纠删码池_148

CL260 学习笔记(三)_纠删码池_149

CL260 学习笔记(三)_CL260_150

CL260 学习笔记(三)_Ceph存储池_151

CL260 学习笔记(三)_CL260_152

CL260 学习笔记(三)_纠删码池_153

CL260 学习笔记(三)_学习笔记_154

CL260 学习笔记(三)_纠删码池_155

CL260 学习笔记(三)_纠删码池_156

CL260 学习笔记(三)_Ceph存储池_157

CL260 学习笔记(三)_CL260_158

CL260 学习笔记(三)_Ceph存储池_159

CL260 学习笔记(三)_学习笔记_160

CL260 学习笔记(三)_复制池_161

CL260 学习笔记(三)_复制池_162

CL260 学习笔记(三)_学习笔记_163

CL260 学习笔记(三)_学习笔记_164

CL260 学习笔记(三)_纠删码池_165

CL260 学习笔记(三)_学习笔记_166

ceph osd erasure-code-profile --help

CL260 学习笔记(三)_学习笔记_167

CL260 学习笔记(三)_学习笔记_168

CL260 学习笔记(三)_Ceph存储池_169

CL260 学习笔记(三)_CL260_170

CL260 学习笔记(三)_CL260_171

CL260 学习笔记(三)_纠删码池_172

CL260 学习笔记(三)_学习笔记_173

CL260 学习笔记(三)_CL260_174

CL260 学习笔记(三)_Ceph存储池_175

CL260 学习笔记(三)_复制池_176

CL260 学习笔记(三)_复制池_177

CL260 学习笔记(三)_Ceph存储池_178

CL260 学习笔记(三)_复制池_179

CL260 学习笔记(三)_学习笔记_180

CL260 学习笔记(三)_复制池_181

CL260 学习笔记(三)_复制池_182

CL260 学习笔记(三)_Ceph存储池_183

CL260 学习笔记(三)_学习笔记_184

CL260 学习笔记(三)_Ceph存储池_185

CL260 学习笔记(三)_Ceph存储池_186

CL260 学习笔记(三)_复制池_187


举报

相关推荐

0 条评论