hbase.fs.tmp.dir 导致的错误

在执行BulkLoad的时候报了如下的错误:

使用的HBase版本是1.1.2.

从错误日志中可以看到导致这个问题的是HFileOutputFormat2类中的这一行:

关键是“hbase.fs.tmp.dir”这个配置信息。注意这个配置不是“hbase.tmp.dir”。“hbase.tmp.dir”是本地文件系统上的一个目录,“hbase.fs.tmp.dir”是HDFS上的一个目录。

在hbase-default.xml中找到的对应配置信息如下:

问题在于这个配置对应的目录并不存在,根据一些建议手动设置了下这个配置:

就这样,问题修复了。

下面是一些关于这个问题的讨论:

Set default value for hbase.fs.tmp.dir rather than fully depend on hbase-default.xml

Use HDFS for HFileOutputFormat2 partitioner’s path

############


发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据