HBase--集群安装篇 HBase

HBase–集群安装篇

HBase基于Hadoop,这里假设你已经安装好Hadoop平台。 1. 下载资源 官网:http://mirrors.cnnic.cn/apache/hbase/stable/     2. 上传、解压、软连 说明:过程可参考《VMwar...
阅读全文
HBase--基础介绍篇 HBase

HBase–基础介绍篇

关于Hbase的基础介绍网上已经一大堆了,随便一搜即可知道它的一些描述“列存储”、“BigTable”之类的,在这里直接总结一些基本特性。 1. 基本特性 (1) Hbase基于HDFS(故Hbase和DFS有关,和Yarn无关,如果单纯的操作Hbase,只启...
阅读全文
VMware虚拟机搭建Hadoop2.7.1分布式集群(3台) Hadoop

VMware虚拟机搭建Hadoop2.7.1分布式集群(3台)

这篇文章主要介绍了在本地虚拟机环境(VMware)中搭建最基础的Hadoop集群的过程,包括准备工作、搭建虚拟机和系统、Hadoop集群安装配置、运行MapReduce实例以及整个过程中可能会碰到的一些问题,比较详细,希望对初学者有帮助。 【架构介绍】 &nb...
阅读全文
Map常见的几种遍历方法 Java

Map常见的几种遍历方法

写了几个关于map遍历的方法,然后接下来的四个小时里一直在折腾代码高亮插件,最终也没能解决,真是醉了,只好自定义了个标签,先凑合用用。 package net.circleblog.base; import java.util.HashMap; import ...
阅读全文
理解Hadoop中的Partitioner Hadoop

理解Hadoop中的Partitioner

一直对Partitioner的概念比较模糊,今天看书的时候碰到了,参考了一些网友的博客,解析如下: 1. 组件作用 Partitioner可以让Map/Reduce对key进行分区,从而可以根据不同的Key分组数据发送到Reduce中处理。 2. 如何使用 (...
阅读全文
Hadoop Yarn架构解析 Hadoop

Hadoop Yarn架构解析

    了解Yarn的架构之前,先说说为什么会出现Yarn。在Hadoop v1版本中,存在最大的问题就是资源管理和任务管理耦合在一起,且整个集群的扩展性、可靠性(JobTracker的单节点故障问题)很差,以及最重要的一个问题,集群资源的...
阅读全文
快速学习Storm(一)--WordCount简析 Storm

快速学习Storm(一)–WordCount简析

Storm已经火了一段时间了,对于实时分析确实得到的市场的认可,今天从零开始研究一下Storm到底怎么玩儿,同时把过程中遇到的问题及收获记录下来,我始终坚信在互联网时代,分享是一种美德。我不喜欢废话连篇的空理论,这对于作者和读者都可以节约时间成本,所以省去了许...
阅读全文