• 关于MapReduce3 – 作业的配置和执行

    配置 一个Job就表示了一个MapReduce的作业配置。 Job是用户向Hadoop框架描述一个MapReduce作业如何执行的最主要的接口。框架会尽力按Job的描述去忠实地执行一个作业,但是: 一

    [阅读更多...]
  • 关于MapReduce2 – Job主体

    这一部分内容会适当深入说明用户即将面对的MapReduce框架的各个环节。这有助于用户从一个更细的粒度地去实现、配置、调优作业。 我们先看看Mapper和Reducer接口。通常应用程序实现这两个接口

    [阅读更多...]
  • kafka简介

    简介 kafka是一个分布式的、可分区的、可复制的日志提交服务。它提供了消息传递的功能,但是有着独特的设计。 首先,先了解一些基础概念: Kafka将消息源的分类称为topic; 向Kafka的top

    [阅读更多...]
  • 关于MapReduce1 – QuickStart

    概述 Hadoop Mapreduce是一个简单易用的框架。基于MapReduce写出来的程序能够运行在由上千台商用机器组成的大型集群上,以一种可靠的容错的方式并行处理T级别的海量数据。 一个MapR

    [阅读更多...]
  • 使用PyMySQL

    适用环境 python版本 >=2.6或3.3,mysql版本>=4.1。 安装 可以使用pip安装也可以手动下载安装。 使用pip安装,在命令行执行如下命令: 如需要手动安装,请先下载,

    [阅读更多...]
  • 搭建Hadoop运行环境

    准备工作 安装JDK JDK版本一般要求是JDK1.7。JDK1.6较新的版本也可以使用。这里使用的是JDK1.8。 官方有一个JDK与Hadoop版本对照表,可以参考一下:http://wiki.a

    [阅读更多...]
  • 基于JMeter进行分布式测试

    我工作中的笔记本配置还可以。但是在测试一个简单的TCP连接时,发现把线程数设置为10000时,我的笔记本会很快死掉。最终实验出我的笔记本可以承受的安全线程数是5000。可是对应用的最低性能要求就是能承

    [阅读更多...]
  • JMeter监听器说明

    JMeter的监听器可以理解为JMeter提供的测试分析工具(或者测试结果报告)。JMeter监听器的监听范围是当前节点及其子节点。JMeter提供了多种测试监听器,这里简单说几个用过的监听器。 创建

    [阅读更多...]
  • 使用JMeter

    JMeter是一款基于java开发的压力测试应用。最初是为测试 Apache JServ(tomcat的前身)的性能而开发的。不久以后,JMeter也成为了jakarta的一个子项目。 安装 截至目前

    [阅读更多...]
第 9 页,共 9 页« 最新...56789