Storm的问题所在 Worker级别 Storm在worker设计上的问题应该是最多的。 所有task都一视同仁，无法对单个Task进行资源设置，会造成比较严重的资源浪费。拓扑越复杂，资源浪费越多。 Task之间相互影响，单个Task故障会导致整个worke...
Storm
Storm
Storm
Storm中Emitted、Transferred和Executed区别
在stormUI上有三个字段，分别为Emitted、Transferred和Executed，都用来标识当前组件发出去的数据记录。 （1）Emitted表示当前Spout或Bolt发出去的记录条数，即OutputCollecter类中emit方法被调用的次数。...
Linux
Linux内存、Swap、Cache、Buffer详细解析
1. 通过free命令看Linux内存 total：总内存大小。 used：已经使用的内存大小（这里面包含cached和buffers和shared部分）。 free：空闲的内存大小。 shared：进程间共享内存（一般不会用，可以忽略）。 buffers：内...
HBase
HBase–调优篇
优化对于HBase是必不可少的，庞大的数据集可能因为某个简单的改动让HBase集群的性能提升数倍。 1. 表的设计 1.1 提前创建多个Region 默认情况下，在创建HBase表的时候会自动创建一个Region分区，当导入数据的时候...
HBase
HBase–工作原理篇
HBase作为HDFS之上的分布式数据库，其本身并不负责数据存储，而是以二进制文件的形式将数据保存在HDFS上，了解HBase的架构及工作原理，有助于在实际应用中更好的设计表及存储结构，并且可以通过优化集群提高系统性能。 1. HBase系统架构图 ...
HBase
HBase–常用过滤器篇
引言：Hbase的查询不能像sql语句那样灵活，对于多数的复杂查询都要借助“过滤器”。HBase过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器。过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端。 &n...
HBase
HBase–常用API操作篇
【常用到的几个类】 1. org.apache.hadoop.hbase.HBaseConfiguration 每一个hbase client都会使用到的对象，它代表的是HBase配置信息。它有两种构造方式： public HBaseConfiguration...
HBase
HBase–常用Shell操作篇
HBase为用户提供了一个Shell终端进行交互操作，通过“help get”命令可以获得帮助信息。 【查询相关】 1. 进入hbase shell console $HBASE_HOME/bin/hbase shell 2. 查看...
