hbase 学习(十六)系统架构图

  • 时间:
  • 浏览:1
  • 来源:大发5分排列5_极速5分排列3

HLog File

图片解释:  

HFile文件不定长,长度固定的块没有 一十个 :Trailer和FileInfo   

Trailer中指针指向许多数据块的起始点   

File Info中记录了文件的许多Meta信息,类式 :AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等   

Data Index和Meta Index块记录了每个Data块和Meta块的起始点   

Data Block是HBase I/O的基本单元,为了提高波特率,HRegionServer中含基于LRU的Block Cache机制   

每个Data块的大小还没有 在创建一一十个 Table的刚刚 通过参数指定,大号的Block有助顺序Scan,小号Block有助随机查询   

每个Data块除了开头的Magic以外可是一一十个 个KeyValue对拼接而成, Magic内容可是许多随机数字,目的是处置数据损坏

KeyLength和ValueLength:一十个 固定的长度,分别代表Key和Value的长度  

Key帕累托图:Row Length是固定长度的数值,表示RowKey的长度,Row 可是RowKey   

Column Family Length是固定长度的数值,表示Family的长度   

接着可是Column Family,再接着是Qualifier,刚刚 是一十个 固定长度的数值,表示Time Stamp和Key Type(Put/Delete)   

Value帕累托图没有 没有 比较复杂的特性,可是纯粹的二进制数据

HFile里边的每个KeyValue对可是一一十个 简单的byte数组。这人 byte数组里边中含了可是项,刚刚 有固定的特性。

HLog  

引入HLog因为 :   

在分布式系统环境中,无法处置系统出错将会宕机,一旦HRegionServer意外退出,MemStore中的内存数据就会丢失,引入HLog可是处置这人 情况表   

工作机制:   

每个HRegionServer中后会有一一十个 HLog对象,HLog是一一十个 实现Write Ahead Log的类,每次用户操作写入Memstore的共同,也会写一份数据到HLog文件,HLog文件定期会滚动出新,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegionServer意外终止后,HMaster会通过Zookeeper感知,HMaster首先处置遗留的HLog文件,将不同region的log数据拆分,分别放上相应region目录下,刚刚 再将失效的region重新分配,领取到哪些地方地方region的HRegionServer在Load Region的过程中,会发现有历史HLog没有 处置,刚刚 会Replay HLog中的数据到MemStore中,刚刚 flush到StoreFiles,完成数据恢复。

Client写入 -> 存入MemStore,一十个 劲到MemStore满 -> Flush成一一十个 StoreFile,直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一一十个 StoreFile,共同进行版本合并和数据删除 -> 当StoreFiles Compact后,逐步形成没有 大的StoreFile -> 单个StoreFile大小超过一定阈值后,触发Split操作,把当前Region Split成一十个 Region,Region会下线,新Split出的一十个 孩子Region会被HMaster分配到相应的HRegionServer上,使得另一十个 一一十个 Region的压力得以分流到一十个 Region上。

由此过程可知,HBase可是增加数据,有所得更新和删除操作,后会在Compact阶段做的,可是,用户写操作只没有 进入到内存即可立即返回,从而保证I/O高性能。

HStore:  

HBase存储的核心。由MemStore和StoreFile组成。   

MemStore是Sorted Memory Buffer。用户写入数据的流程:

HBase 系统架构图

组成部件说明

Client:  

使用HBase RPC机制与HMaster和HRegionServer进行通信   

Client与HMaster进行通信进行管理类操作   

Client与HRegionServer进行数据读写类操作   

Zookeeper:  

Zookeeper Quorum存储-ROOT-表地址、HMaster地址   

HRegionServer把另一方以Ephedral土法子注册到Zookeeper中,HMaster随时感知各个HRegionServer的健康情况表   

Zookeeper处置HMaster单点问題   

HMaster:  

HMaster没有 单点问題,HBase中还没有 启动多个HMaster,通过Zookeeper的Master Election机制保证总有一一十个 Master在运行   

主要负责Table和Region的管理工作:   

1 管理用户对表的增完整查操作   

2 管理HRegionServer的负载均衡,调整Region分布   

3 Region Split后,负责新Region的分布   

4 在HRegionServer停机后,负责失效HRegionServer上Region迁移   

HRegionServer:  

HBase中最核心的模块,主要负责响应用户I/O请求,向HDFS文件系统中读写数据

HLog文件可是一一十个 普通的Hadoop Sequence File,Sequence File 的Key是HLogKey对象,HLogKey中记录了写入数据的归属信息,除了table和region名字外,共同还包括 sequence number和timestamp,timestamp是“写入时间”,sequence number的起始值为0,将会是最近一次存入文件系统中sequence number。  

HLog Sequece File的Value是HBase的KeyValue对象,即对应HFile中的KeyValue

HFile

刚始于语:这篇文章是我专门在网上弄下来的,是否是hbase帕累托图的终极篇吧,我的服务端的源码系列也要基于这人 顺序来开展。

HRegionServer管理许多列HRegion对象;  

每个HRegion对应Table中一一十个 Region,HRegion由多个HStore组成; 

每个HStore对应Table中一一十个 Column Family的存储;   

Column Family可是一一十个 集中的存储单元,故将具有相同IO特性的Column放上一一十个 Column Family会更高效

HBase存储格式  

HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,格式主要有五种:   

1 HFile HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile可是对HFile做了轻量级包装,即StoreFile底层可是HFile   

2 HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Hadoop的Sequence File