这次创建一个自定义注解StopWatch，目的是用来监控Java方法的执行时间。 注解定义如下： 代码中使用到的几个元注解上一节都有说明。注解定义完成了就可以使用了，下面是一个这个注解的使用案例： 在自定义的注解中使用了两个成员变量：nam
[阅读更多...]-
java注解2 – 自定义注解
-
java注解1 – 元注解
简单整理了一下Annotation相关的内容。 元Annotation就是修饰Annotation的Annotation。 Java有四个元Annotation：@Retention、 @Target、@Documented和@Inheri
[阅读更多...] -
Yarn架构设计
yarn一个基本理念就是将JobTracker的两大主要功能——资源管理和作业调度/监控——分割开来成为两个独立的守护进程。在这个方案里，有一个全局的ResourceManager (RM)和对应每个应用的ApplicationMaster
[阅读更多...] -
Yarn命令
概述 yarn命令是调用的bin/yarn脚本。执行yarn命令时如果不带上参数信息则会打印yarn命令的帮助信息。 yarn命令的用法： yarn有一个命令参数解析框架，可以用来解析通用命令参数以及运行类。命令参数及描述如下表： R
[阅读更多...] -
关于MapReduce6 – 重构WordCount
这里是一个更完整的WordCount实例。在这个实例中使用了很多前面提到的MapReduce框架的特性。 这个实例需要HDFS支持运行，尤其是关于DistributedCache的一些特性。因此，这个实例只能运行于伪分布式或者完全分布式安装
[阅读更多...] -
关于MapReduce5 – 一些有用的特性
提交作业到队列 用户将作业提交到队列。队列是作业的集合，允许系统添加特定的功能，比如，队列通过ACL决定哪些用户可以提交作业。通常主要由Hadoop调度器使用队列。 Hadoop的配置信息使用了一个单独的托管队列，被称为“default”。
[阅读更多...] -
关于MapReduce4 – 作业的输入输出
作业的输入 InputFormat InputFormat描述了MapReduce作业的输入规范。 MapReduce框架根据MapReduce作业的InputFormat来做这些事情： 校验作业的输入配置； 把输入文件切分成多个逻辑上的I
[阅读更多...] -
关于MapReduce3 – 作业的配置和执行
配置 一个Job就表示了一个MapReduce的作业配置。 Job是用户向Hadoop框架描述一个MapReduce作业如何执行的最主要的接口。框架会尽力按Job的描述去忠实地执行一个作业，但是： 一些配置参数可能会被管理员标记为final
[阅读更多...] -
关于MapReduce2 – Job主体
这一部分内容会适当深入说明用户即将面对的MapReduce框架的各个环节。这有助于用户从一个更细的粒度地去实现、配置、调优作业。 我们先看看Mapper和Reducer接口。通常应用程序实现这两个接口需要提供map和reduce方法。 然后
[阅读更多...] -
kafka简介
简介 kafka是一个分布式的、可分区的、可复制的日志提交服务。它提供了消息传递的功能，但是有着独特的设计。 首先，先了解一些基础概念： Kafka将消息源的分类称为topic； 向Kafka的topic发送消息的进程被称为producer
[阅读更多...]