HBase HBase–集群安装篇 HBase基于Hadoop,这里假设你已经安装好Hadoop平台。 1. 下载资源 官网:http://mirrors.cnnic.cn/apache/hbase/stable/ 2. 上传、解压、软连 说明:过程可参考《VMwar... 2016年07月06日 阅读 1,844 次 发表评论 阅读全文
HBase HBase–基础介绍篇 关于Hbase的基础介绍网上已经一大堆了,随便一搜即可知道它的一些描述“列存储”、“BigTable”之类的,在这里直接总结一些基本特性。 1. 基本特性 (1) Hbase基于HDFS(故Hbase和DFS有关,和Yarn无关,如果单纯的操作Hbase,只启... 2016年07月06日 阅读 1,217 次 发表评论 阅读全文
Hadoop VMware虚拟机搭建Hadoop2.7.1分布式集群(3台) 这篇文章主要介绍了在本地虚拟机环境(VMware)中搭建最基础的Hadoop集群的过程,包括准备工作、搭建虚拟机和系统、Hadoop集群安装配置、运行MapReduce实例以及整个过程中可能会碰到的一些问题,比较详细,希望对初学者有帮助。 【架构介绍】 &nb... 2016年02月17日 阅读 3,236 次 发表评论 阅读全文
数据仓库 数据仓库(Data Warehouse)介绍及设计原则 什么是数据仓库? 1. 百度百科如是说: 2. 个人理解: 数据仓库是支撑整个公司业务的大型数据集合,包含数据的存储、建模、处理等过程。 数据仓库建设的几个重要步骤: 建立数据仓库是一个解决企业问题的过程,业... 2015年08月05日 阅读 4,849 次 发表评论 阅读全文
Java Map常见的几种遍历方法 写了几个关于map遍历的方法,然后接下来的四个小时里一直在折腾代码高亮插件,最终也没能解决,真是醉了,只好自定义了个标签,先凑合用用。 package net.circleblog.base; import java.util.HashMap; import ... 2015年07月23日 阅读 2,531 次 发表评论 阅读全文
Hadoop 理解Hadoop中的Partitioner 一直对Partitioner的概念比较模糊,今天看书的时候碰到了,参考了一些网友的博客,解析如下: 1. 组件作用 Partitioner可以让Map/Reduce对key进行分区,从而可以根据不同的Key分组数据发送到Reduce中处理。 2. 如何使用 (... 2015年07月16日 阅读 1,181 次 发表评论 阅读全文
Hadoop Hadoop Yarn架构解析 了解Yarn的架构之前,先说说为什么会出现Yarn。在Hadoop v1版本中,存在最大的问题就是资源管理和任务管理耦合在一起,且整个集群的扩展性、可靠性(JobTracker的单节点故障问题)很差,以及最重要的一个问题,集群资源的... 2015年05月15日 阅读 1,981 次 2 阅读全文
Storm 快速学习Storm(一)–WordCount简析 Storm已经火了一段时间了,对于实时分析确实得到的市场的认可,今天从零开始研究一下Storm到底怎么玩儿,同时把过程中遇到的问题及收获记录下来,我始终坚信在互联网时代,分享是一种美德。我不喜欢废话连篇的空理论,这对于作者和读者都可以节约时间成本,所以省去了许... 2015年05月07日 阅读 1,459 次 发表评论 阅读全文