• Kafka Simple Consumer

    Kafka的Simple Consumer并不简单。相反的,它是直接在对Kafka的partition和offset进行操作,是一种比较接近底层的方案。 为什么要使用Simple Consumer 使

    [阅读更多...]
  • MySQL分区 – 限制

    这一节主要说明MySQL中对分区的一些限制和不足。 禁止使用的结构 如下MySQL结构禁止在分区表达式中使用: 存储过程、存储函数、UDF(用户自定函数)或者插件; 已声明的变量和用户变量。 算数运算

    [阅读更多...]
  • MySQL分区 – 概述

    引言 MySQL的分区方案可以将一个表中的数据分别保存到不同的位置。用户用来分区的规则被称为分区函数。分区函数可以是模运算函数,数值List集合匹配,内置的hash函数或者线性Hash函数。用户可以按

    [阅读更多...]
  • 在Ubuntu上安装windows字体

    在Ubuntu上安装字体多少有些麻烦,所以以前想安装却总懒得安装。终于找到了一个简单的方法,在这里记录一下。 将windows的字体拷贝到Ubuntu系统内。 在应用中心安装font manager。

    [阅读更多...]
  • Kafka Producer程序示例

    这次是要写一个Producer示例程序。使用的kafka版本是0.8.2。开发语言是java。 程序主体是一个Producer类。这个Producer类主要是用来为指定的topic创建消息。 首先需要

    [阅读更多...]
  • java注解2 – 自定义注解

    这次创建一个自定义注解StopWatch,目的是用来监控Java方法的执行时间。 注解定义如下: 代码中使用到的几个元注解上一节都有说明。注解定义完成了就可以使用了,下面是一个这个注解的使用案例: 在

    [阅读更多...]
  • java注解1 – 元注解

    简单整理了一下Annotation相关的内容。 元Annotation就是修饰Annotation的Annotation。 Java有四个元Annotation:@Retention、 @Target

    [阅读更多...]
  • Yarn架构设计

    yarn一个基本理念就是将JobTracker的两大主要功能——资源管理和作业调度/监控——分割开来成为两个独立的守护进程。在这个方案里,有一个全局的ResourceManager (RM)和对应每个

    [阅读更多...]
  • Yarn命令

    概述 yarn命令是调用的bin/yarn脚本。执行yarn命令时如果不带上参数信息则会打印yarn命令的帮助信息。 yarn命令的用法: yarn有一个命令参数解析框架,可以用来解析通用命令参数以及

    [阅读更多...]
  • 关于MapReduce6 – 重构WordCount

    这里是一个更完整的WordCount实例。在这个实例中使用了很多前面提到的MapReduce框架的特性。 这个实例需要HDFS支持运行,尤其是关于DistributedCache的一些特性。因此,这个

    [阅读更多...]