因为DataNode和RegionServer通常会部署在相同的机器上,所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现的。在复制Block时,HBase是这样选择副本的位置的: 第一个
[阅读更多...]-
HBase Region Locality
-
使用HBase总结
前段时间我们在项目中使用了HBase,在这里记一下使用经历或者说踩过的坑。 RowKey设计 我们读取数据的方式主要是批量查询,因此在最初的设计中就将大部分查询字段放在了RowKey上,目的是利用RowKey作为索引的特性。 关于RowKe
[阅读更多...] -
HBase Bulk Load
概述 BulkLoad是一种高效写入HBase的方式,适用于将数据批量迁移到HBase。 BulkLoad使用MapReduce作业直接生成HBase的StoreFile,并将生成的StoreFile直接装载入正在运行的HBase集群。较之
[阅读更多...] -
hbase.fs.tmp.dir 导致的错误
在执行BulkLoad的时候报了如下的错误: 使用的HBase版本是1.1.2. 从错误日志中可以看到导致这个问题的是HFileOutputFormat2类中的这一行: 关键是“hbase.fs.tmp.dir”这个配置信息。注意这个配置不
[阅读更多...]