• 获取Kafka Consumer的offset

    从kafka的0.8.11版本开始,它会将consumer的offset提交给ZooKeeper。然而当offset的数量(consumer数量 * partition的数量)的很多的时候,ZooKe

    [阅读更多...]
  • HBase连接异常:KeeperErrorCode = OperationTimeout

    手上的一个HBase相关的服务在重启后开始报错(重启前运行良好),错误信息如下: 错误信息提示连接zookeeper时间超长。经检查是因为有一个zookeeper节点已经停止运行(zk3.com),和

    [阅读更多...]
  • 使用HBase Coprocessor

    HBase的Coprocessor是模仿谷歌BigTable的Coprocessor模型实现的。 Coprocessor提供了一种机制可以让开发者直接在RegionServer上运行自定义代码来管理数

    [阅读更多...]
  • 使用BufferedMutator

    org.apache.hadoop.hbase.client.BufferedMutator主要用来对HBase的单个表进行操作。它和Put类的作用差不多,但是主要用来实现批量的异步写操作。 Buff

    [阅读更多...]
  • 译文:HBase File Locality in HDFS

    Hadoop中一个不明确的内容就是Block复制:它自动完成,通常不需要用户关心。HBase将数据保存到HDFS,并完全相信它的安全性。正是因为HDFS的Block复制对HBase来说是完全透明的,就

    [阅读更多...]
  • HBase Region Locality

    因为DataNode和RegionServer通常会部署在相同的机器上,所以会产生Locality这样的概念。 HBase的Locality是通过HDFS的Block复制实现的。在复制Block时,H

    [阅读更多...]
  • 使用HBase总结

    前段时间我们在项目中使用了HBase,在这里记一下使用经历或者说踩过的坑。 RowKey设计 我们读取数据的方式主要是批量查询,因此在最初的设计中就将大部分查询字段放在了RowKey上,目的是利用Ro

    [阅读更多...]
  • HBase Bulk Load

    概述 BulkLoad是一种高效写入HBase的方式,适用于将数据批量迁移到HBase。 BulkLoad使用MapReduce作业直接生成HBase的StoreFile,并将生成的StoreFile

    [阅读更多...]
  • hbase.fs.tmp.dir 导致的错误

    在执行BulkLoad的时候报了如下的错误: 使用的HBase版本是1.1.2. 从错误日志中可以看到导致这个问题的是HFileOutputFormat2类中的这一行: 关键是“hbase.fs.tm

    [阅读更多...]
  • 关于和leader沟通

    处理了一点儿杂事后什么也不想干,干脆写点儿东西好了。 前两天下班后在地铁上和同事聊了些关于和leader沟通的话题。这两天总结了下,一般情况下有如下几个原则: 经常沟通,让leader知道你在做什么;

    [阅读更多...]
第 3 页,共 10 页12345...10...最旧 »