• 在Ubuntu上安装windows字体

    在Ubuntu上安装字体多少有些麻烦,所以以前想安装却总懒得安装。终于找到了一个简单的方法,在这里记录一下。 将windows的字体拷贝到Ubuntu系统内。 在应用中心安装font manager。 打开后点击左下角灰色的小齿轮图标,选择

    [阅读更多...]
  • Kafka Producer程序示例

    这次是要写一个Producer示例程序。使用的kafka版本是0.8.2。开发语言是java。 程序主体是一个Producer类。这个Producer类主要是用来为指定的topic创建消息。 首先需要引入一些支持类: 然后就是定义一些属性来

    [阅读更多...]
  • java注解2 – 自定义注解

    这次创建一个自定义注解StopWatch,目的是用来监控Java方法的执行时间。 注解定义如下: 代码中使用到的几个元注解上一节都有说明。注解定义完成了就可以使用了,下面是一个这个注解的使用案例: 在自定义的注解中使用了两个成员变量:nam

    [阅读更多...]
  • java注解1 – 元注解

    简单整理了一下Annotation相关的内容。 元Annotation就是修饰Annotation的Annotation。 Java有四个元Annotation:@Retention、 @Target、@Documented和@Inheri

    [阅读更多...]
  • Yarn架构设计

    yarn一个基本理念就是将JobTracker的两大主要功能——资源管理和作业调度/监控——分割开来成为两个独立的守护进程。在这个方案里,有一个全局的ResourceManager (RM)和对应每个应用的ApplicationMaster

    [阅读更多...]
  • Yarn命令

    概述 yarn命令是调用的bin/yarn脚本。执行yarn命令时如果不带上参数信息则会打印yarn命令的帮助信息。 yarn命令的用法: yarn有一个命令参数解析框架,可以用来解析通用命令参数以及运行类。命令参数及描述如下表: &#82

    [阅读更多...]
  • 关于MapReduce6 – 重构WordCount

    这里是一个更完整的WordCount实例。在这个实例中使用了很多前面提到的MapReduce框架的特性。 这个实例需要HDFS支持运行,尤其是关于DistributedCache的一些特性。因此,这个实例只能运行于伪分布式或者完全分布式安装

    [阅读更多...]
  • 关于MapReduce5 – 一些有用的特性

    提交作业到队列 用户将作业提交到队列。队列是作业的集合,允许系统添加特定的功能,比如,队列通过ACL决定哪些用户可以提交作业。通常主要由Hadoop调度器使用队列。 Hadoop的配置信息使用了一个单独的托管队列,被称为“default”。

    [阅读更多...]
  • 关于MapReduce4 – 作业的输入输出

    作业的输入 InputFormat InputFormat描述了MapReduce作业的输入规范。 MapReduce框架根据MapReduce作业的InputFormat来做这些事情: 校验作业的输入配置; 把输入文件切分成多个逻辑上的I

    [阅读更多...]
  • 关于MapReduce3 – 作业的配置和执行

    配置 一个Job就表示了一个MapReduce的作业配置。 Job是用户向Hadoop框架描述一个MapReduce作业如何执行的最主要的接口。框架会尽力按Job的描述去忠实地执行一个作业,但是: 一些配置参数可能会被管理员标记为final

    [阅读更多...]