成功最有效的方法就是向有经验的人学习!

Ceph中的PG和PGP的关系

【前言】

ceph创建存储池需要pg数和pgp数的两个参数,在前面我们介绍了ceph的pg,那么pgp和pg有什么关系呢?

PG (Placement Group),pg是一个虚拟的概念,用于存放object,PGP(Placement Group for Placement purpose),相当于是pg存放的一种osd排列组合。举个例子:假设集群有3个osd,即osd1,osd2,osd3,副本数为2,如果pgp=1,那么pg存放的osd的组合就有一种,可能是[osd1,osd2],那么所有的pg主从副本都会存放到osd1和osd2上;如果pgp=2,那么其osd组合可能就两种,可能是[osd1,osd2]和[osd1,osd3],pg的主从副本会落在[osd1,osd2]或者[osd1,osd3]中,和我们数学中的排列组合很像,所以pg是存放对象的归属组是一种虚拟概念,pgp就是pg对应的osd排列组合。一般情况下,存储池的pg和pgp的数量设置相等。

【实践】

上面大概讲了pg和pgp的关系,下面我们通过实际例子来更具体一步说明:

我准备的测试环境是3个节点,每个节点3个osd,首先我们创建以个名为pool_1的存储池,包含6个pg:

[root@node1 ~]# ceph osd pool create pool_1 6 6
pool 'pool_1' created
[root@node1 ~]# ceph osd pool set pool_1 size 2   #设置存储池副本数为2
set pool 2 size to 2

使用ceph pg dump pgs查看pg的分布:因为存储池为双副本,我们可以看到每个pg会分布在两个osd上,整个集群有9个osd,按照排列组合会有很多种,此时pgp=6,就会选择这些组合中的6种组合来供pg存放,我们可以看到最右侧的6中组合均不重复。

[root@node1 ~]#  ceph pg dump pgs |grep active |awk '{print $1,$19}'
2.5 0 [1,2]
2.4 0 [6,0]
2.3 0 [5,2]
2.2 0 [5,6]
2.1 0 [7,8]
2.0 0 [0,6]

接下来我们使用ceph自带的bench工具写入数据,来观察pg内的对象有没有移动:

rados -p pool_1 bench 20 write --no-cleanu

再次查询结果如下:第2列为每个pg的对象数,第3列为pg所在的osd,我们可以看到存储创建好了pg设置固定了其osd的分布不会随着对象的增加而改变。

[root@node1 ~]#  ceph pg dump pgs |grep active |awk '{print $1,$19}'
2.5 178 [1,2]
2.4 162 [6,0]
2.3 368 [5,2]
2.2 308 [5,6]
2.1 176 [7,8]
2.0 166 [0,6]

(1) 增加PG数

接下来我们改变下pg数,将pg数扩大到12:

[root@node1 ~]# ceph osd pool set pool_1 pg_num 12
set pool 2 pg_num to 12

再次查看存储池pg分布结果如下:

[root@node1 ~]# ceph pg dump pgs |grep active |awk '{print $1,$2,$19}'
2.b 96 [5,2]
2.a 73 [5,6]
2.0 76 [0,6]
2.1 88 [7,8]
2.2 80 [5,6]
2.9 88 [7,8]
2.3 91 [5,2]
2.4 162 [6,0]
2.5 178 [1,2]
2.6 103 [5,6]
2.7 181 [5,2]
2.8 90 [0,6]

通过上面的测试结果我们可以看到,新增加的pg数还是基于pgp=6的排列组合,并没有出现新的排列组合,因为我们当前的存储池的pgp是6,那么双副本2个osd的组合就是6个,因为当前的pg是12,分布只能从6中组合里面选择,所以会有重复的组合。

结论:增加PG会引起PG内的对象进行分裂,也就是说在OSD上新建了PG目录,然后进行部分对象迁移的操作。即PG改变会引起数据迁移。

(2) 增加PGP

我们将PGP从6调整为12:

[root@node1 ~]# ceph osd pool set pool_1 pgp_num 12
set pool 2 pgp_num to 12

[root@node1 ~]# ceph pg dump pgs |grep active |awk '{print $1,$2,$19}'
2.b 96 [8,0]
2.a 73 [2,4]
2.0 76 [0,6]
2.1 88 [7,8]
2.2 80 [5,6]
2.9 88 [4,8]
2.3 91 [5,2]
2.4 162 [6,0]
2.5 178 [1,2]
2.6 155 [8,4]
2.7 181 [1,2]
2.8 90 [0,7]

可以看到pg内的对象数并没有发生改变,而pg所在的osd的对应关系发生了改变,可以看到最初pg=6 pgp=6的时候前6个pg的分布并没有发生变化,变化的都是后面增加的pg,也就是将重复的pg分布进行新分布,这里并不是随机打散,而是尽量做小改动的重新分布,这就是所谓的一致性哈希原理。

结论:调整PGP不会引起PG内的对象的分裂,但是会引起PG的分布变动。

【总结】

  1. PG是指定存储池存储对象的归属组有多少个,PGP是存储池PG的OSD分布组合个数

  2. PG的增加会引起PG内的数据进行迁移,迁移到不同的OSD上新生成的PG中

  3. PGP的增加会引起部分PG的分布变化,但是不会引起PG内对象的变动。

赞(1) 打赏
未经允许不得转载:陈桂林博客 » Ceph中的PG和PGP的关系
分享到

大佬们的评论 抢沙发

全新“一站式”建站,高质量、高售后的一条龙服务

微信 抖音 支付宝 百度 头条 快手全平台打通信息流

橙子建站.极速智能建站8折购买虚拟主机

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

登录

找回密码

注册