HBase的Coprocessor是模仿谷歌BigTable的Coprocessor模型实现的。
Coprocessor提供了一种机制可以让开发者直接在RegionServer上运行自定义代码来管理数据。
首先必须要指明使用Coprocessor还是存在一些风险的。Coprocessor是HBase的高级功能，本来是只为HBase系统开发人员准备的。因为Copr…
使用HBase Coprocessor
回复
作者归档：白42
使用BufferedMutator
org.apache.hadoop.hbase.client.BufferedMutator主要用来对HBase的单个表进行操作。它和Put类的作用差不多，但是主要用来实现批量的异步写操作。
BufferedMutator替换了HTable的setAutoFlush(false)的作用。
可以从Connection的实例中获取BufferedMutator的实例…
译文：HBase File Locality in HDFS
Hadoop中一个不明确的内容就是Block复制：它自动完成，通常不需要用户关心。HBase将数据保存到HDFS，并完全相信它的安全性。正是因为HDFS的Block复制对HBase来说是完全透明的，就产生了一个问题：HBase的效率会受到多大的影响？当我们开始写MapReduce作业访问HBase和Hadoop的时候，就难免会想到这个问题。尤为关键的是，当H…
HBase Region Locality
因为DataNode和RegionServer通常会部署在相同的机器上，所以会产生Locality这样的概念。
HBase的Locality是通过HDFS的Block复制实现的。在复制Block时，HBase是这样选择副本的位置的：
- 第一个副本写到本地节点上；
- 第二个副本写到另一个机架的随机节点上；
- 第三个副本写到相同机架的一个随机选择的其他节点上；
- 如果还有更多的副
使用HBase总结
前段时间我们在项目中使用了HBase，在这里记一下使用经历或者说踩过的坑。
RowKey设计
我们读取数据的方式主要是批量查询，因此在最初的设计中就将大部分查询字段放在了RowKey上，目的是利用RowKey作为索引的特性。
关于RowKey的设计，通常有要求唯一性、散列性以及尽量短。我们在设计RowKey时也尽量地按照这三个原则去做。为了保证唯一性，也想过直接将…
HBase Bulk Load
概述
BulkLoad是一种高效写入HBase的方式，适用于将数据批量迁移到HBase。
BulkLoad使用MapReduce作业直接生成HBase的StoreFile，并将生成的StoreFile直接装载入正在运行的HBase集群。较之使用HBase的API，使用BulkLoad耗费的CPU和网络资源都相对较少。
因为BulkLoad绕过了正常写数据的路径（W…
hbase.fs.tmp.dir 导致的错误
在执行BulkLoad的时候报了如下的错误：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
Exception in thread "main" java.lang.IllegalArgumentException: Can not create a Path from a null string at org.apache.hadoop.fs.Path.checkPathArg(Path |
HBase自定义Filter
必需要提前说明下：不建议使用自定义的Filter。所有的Filter都是在服务端生效：就是说需要将自定义的Filter封装为jar，上传到HBase的类路径下，并重启HBase使之生效。对于生产环境的HBase来说，重启通常是不能接受的。
Filter的设置是在客户端完成的，而Filter的逻辑是在HBase的服务端完成的，中间需要一次序列化。我试过几种序列化…
通过HA访问Hdfs获取ActiveNode
通过HA访问Hdfs的时候如何获取到活跃节点是一个稍稍有些麻烦的事情。
目前使用过两种方案：一是通过webhdfs接口逐一访问测试，找到状态为可用的节点；一是在zookeeper上直接获取当前活跃的节点。
简单说下第二种方案。ha的ActiveNode在zookeeper上的存储节点为：/hadoop-ha/dcnameservice/ActiveStandby…
HBase RowKey设计
热点现象
HBase中的记录行按行键的字典顺序进行排序。这种设计有利于扫描（scan）记录。因此我们可以合理的设计行键，将相关的行或者需要一起读取的行放得靠近一些。不过设计得不好的行键也是热点现象的常见来源。当大量客户端流量指向集群中一个或少数几个节点时就容易产生热点现象。这里说的流量指的是读、写或其他操作。这些客户端流量可能会压倒负责托管某个区域（regio…