Curve作为高性能、高可用、高可靠的新一代分布式存储系统,对于多副本数据同步,负载均衡,容灾恢复方面都有较高的要求。Curve选用Raft算法作为底层一致性协议,并基于Raft的特性,实现了异常情况下的数据迁移和自动恢复。下面首先简要介绍一下Raft算法的一些基本概念和术语,再详细介绍其在Curve中的实践。
Raft算法中,有Leader,Follower,Candidate三种角色,它们之间的转换关系如下图:
在同一时刻,只能有一个Leader,当选Leader后到发起下一次选举称为一个任期(term),Leader负责通过心跳向follower保持统治,并同步数据给Follower。Follower发起选举的前提是超时未收到Leader的心跳。
Leader竞选:RAFT是一种Majority的协议,即赢得选举的条件是获得包括自己以内的大多数节点的投票。Follower超时未收到Leader的心跳,则会成为Candidate,发起新一轮的选举。每个节点在每个Term内只能投一次票,且服从先到先服务原则。为了避免多个Follower同时超时,raft中的选举超时时间是一个固定时间加一个随机时间。
日志复制:在任期内,Leader接收来自client的请求,并将其封装成一个日志条目(Raft Log Entry)把它append到自己的raft log中,然后并行地向其它服务器发起AppendEntries RPC,当确定该entry被大多数节点成功复制后(这个过程叫commit),就可以执行命令(这一步叫apply),并返回给client结果。log entry由三个部分组成,分别是:1、log index,2、log所属的term,3、要执行的命令。
配置变更:在Raft中,称复制组有哪些成员称为配置,配置并不是固定的,会根据需求增删节点或异常情况下需要替换掉有问题的节点。从一个配置直接切换到另一个配置是不安全的,因为不同的服务器会在不同的时间点进行切换。因此Raft配置变更时,会先创建一个特殊的log entry Cold,new,这条entry被commit后,会进入共同一致阶段,即新旧配置一起做决定。这时候,再生成一个Cnew的log entry,等这条entry被commit后,就可以由新配置独立做决定了。
安装快照:Raft快照指的是某个时刻保存下来的系统状态的集合。快照有两方面的作用:一个是日志压缩,打了快照之后,在此时刻之前的log entry就可以删除了。另一个是启动加速,系统起来的时候不需要重新回放所有日志。当Leader同步日志给Follower的时候,发现所需的log entry已经被快照删掉了,即可通过发送InstallSnapshot RPC给Follower进行同步。
Curve系统是一个分布式存储系统,在Curve系统中,数据分片的最小单位称之为Chunk,默认的Chunk大小是16MB。在大规模的存储容量下,会产生大量的Chunk,如此众多的Chunk,会对元数据的存储、管理产生一定压力。因此引入CopySet的概念。CopySet可以理解为一组ChunkServer的集合,一个Copyset管理多个Chunk,多副本间的同步和管理已Copyset为单位组织。ChunkServer,Copyset和Chunk三者之间的关系如下图:
Curve copyset选用了braft作为一致性协议的组件,使用方式为multi-raft,即同一个机器,可以属于多个复制组,反过来说,一个机器上,可以存在多个raft实例。基于braft,我们实现了副本间数据同步,系统调度,轻量级raft快照等功能,下面一一详细介绍。
CopysetNode在ChunkServer端封装了braft node,具体关系如下图所示:
Curve client发送一个写请求时,三副本情况下的具体的步骤如下:
在此过程中,用户的数据和操作,通过braft中的log entry的方式在副本间传递,进行数据同步。在三副本场景下,向上层返回的时间取决于两个较快的副本的速度,因此可以减少慢盘的影响。对于较慢的那个副本,leader也会通过无限重试的方式同步数据,因此在系统正常工作的前提下,最终三个副本的数据是一致的。
在Curve中,ChunkServer定期向元数据节点MDS上报心跳,心跳中除了ChunkServer自身的一些统计信息,还包含ChunkServer上面的CopySet的统计信息,包含它的leader,复制组成员,是否有配置变更执行中,配置的epoch等。MDS基于这些统计信息,会生成一系列的Raft配置变更请求并下发给Copyset的leader所在的ChunkServer。
Curve ChunkServer会定期向MDS上报心跳。MDS调度下发配置变更是在心跳的response中完成的。上报心跳的过程如下图:
心跳是定时任务触发的,ChunkServer除了上报一些自己的容量信息等统计信息外,还会上报Copyset的一些信息,比如leader,成员,epoch,是否有进行中的配置变更等。
MDS在心跳response中下发配置变更的过程如下图:
ChunkServer收到response后,解析其中的配置变更信息,并下发给每个Copyset。
epoch同步配置。MDS生成的调度信息,是由后台定时任务触发,并在ChunkServer下一次请求到来时在response中下发的,因此MDS下发的配置变更有可能是过期的。为了实现MDS和ChunkServer之间的配置同步,Curve引入了epoch机制,初始状态,epoch初始为0,每进行一次配置变更(包括leader变更),epoch都会加一。当MDS中的epoch等于ChunkServer端的epoch时,即将下发的配置变更才认为是有效的。epoch与term有何区别?term用于表示Leader的任期,即只跟选举有关,而epoch是与配置变更相关的,也包括了Leader选举这种情况。
epoch的更新。epoch是在ChunkServer端更新的,braft在实现上提供了一个用户状态机,在braft内部发生变化,比如apply,出错,关闭,打快照,加载快照,leader变更,配置变更等时会调用用户状态机中对应的函数。Curve copyset通过继承的方式实现这个用户状态机来完成与braft的交互,epoch是在on_configuration_committed函数中加一的。在braft中,当Leader变更的时候会把当前的配置再提交一遍,因此在on_configuration_committed中增加epoch即可保证在配置发生变化或者Leader变更时epoch顺序递增。
epoch的持久化。在MDS端,epoch随着CopySet的其他信息一起持久化在etcd中。ChunkServer也对epoch进行了持久化,但是ChunkServer中持久化epoch并不是每次epoch发生变化都需要持久化的。这是利用了raft的日志回放和快照功能。考虑以下两种情况:
上面介绍Raft算法的时候介绍过,Raft需要定时打快照,以清理老的log entry,否则Raft日志会无限增长下去。打快照的时候需要保存系统当前的状态,对于Curve块存储场景来说,系统状态就是Chunk当前的数据。直观的方案是将打快照时刻的全部chunk拷贝一遍备份起来。但是这样有两个问题:
因此,Curve中使用的Raft快照是轻量级的,即打快照的时候只保存当前的Chunk文件的列表,不对Chunk本身做备份。具体流程如下:
这样会导致Follower下载到的chunk文件不是打快照时的状态,而是最新的状态,在回放日志的时候,会把这些新数据再写一遍。但这对于我们的场景是可以接受的,因为底层都是覆盖写是幂等的,即写一次和写多次结果是一致的。
本篇文章首先介绍了Raft一致性算法的一些基本概念。随后介绍了Raft算法新一代高性能分布式存储系统Curve中的应用,分别从数据同步,系统调度和Raft快照三个角度介绍了Curve中使用Raft的细节。关于Curve的更进一步介绍详见我们的代码仓库:https://github.com/opencurve/curve。另外,Curve开源分享也在火热进行中,分享的ppt可以在https://github.com/opencurve/curve-meetup-slides仓库中获取。
作者:查日苏,网易数帆存储团队高级C++开发工程师,高性能分布式存储系统Curve核心开发。
如有理解和描述上有疏漏或者错误的地方,欢迎共同交流;参考已经在参考文献中注明,但仍有可能有疏漏的地方,有任何侵权或者不明确的地方,欢迎指出,必定及时更正或者删除;文章供于学习交流,转载注明出处
[1] Ongaro D, Ousterhout J. In search of an understandable consensus algorithm[C]//2014 {USENIX} Annual Technical Conference ({USENIX}{ATC} 14). 2014: 305-319.
相关视频:
Curve核心组件之ChunkServer数据节点
相关文章:
相关技术分享预告:
网易数帆 Curve 核心开发团队将带来精心准备的 新一代开源分布式存储 - Curve 技术系列公开课(直播+回放),每周五晚19:00为大家揭开 Curve 技术的奥妙及 Curve 社区的规划,本周五为 Curve 快照克隆的主题,敬请点击链接或识别下图二维码收看!
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf