Storm的问题所在 Worker级别 Storm在worker设计上的问题应该是最多的。 所有task都一视同仁,无法对单个Task进行资源设置,会造成比较严重的资源浪费。拓扑越复杂,资源浪费越多。 Task之间相互影响,单个Task故障会导致整个worke...
Storm中Emitted、Transferred和Executed区别
在stormUI上有三个字段,分别为Emitted、Transferred和Executed,都用来标识当前组件发出去的数据记录。 (1)Emitted表示当前Spout或Bolt发出去的记录条数,即OutputCollecter类中emit方法被调用的次数。...
Linux内存、Swap、Cache、Buffer详细解析
1. 通过free命令看Linux内存 total:总内存大小。 used:已经使用的内存大小(这里面包含cached和buffers和shared部分)。 free:空闲的内存大小。 shared:进程间共享内存(一般不会用,可以忽略)。 buffers:内...
HBase–调优篇
优化对于HBase是必不可少的,庞大的数据集可能因为某个简单的改动让HBase集群的性能提升数倍。 1. 表的设计 1.1 提前创建多个Region 默认情况下,在创建HBase表的时候会自动创建一个Region分区,当导入数据的时候...
HBase–工作原理篇
HBase作为HDFS之上的分布式数据库,其本身并不负责数据存储,而是以二进制文件的形式将数据保存在HDFS上,了解HBase的架构及工作原理,有助于在实际应用中更好的设计表及存储结构,并且可以通过优化集群提高系统性能。 1. HBase系统架构图  ...
HBase–常用过滤器篇
引言:Hbase的查询不能像sql语句那样灵活,对于多数的复杂查询都要借助“过滤器”。HBase过滤器的类型很多,但是可以分为两大类——比较过滤器,专用过滤器。过滤器的作用是在服务端判断数据是否满足条件,然后只将满足条件的数据返回给客户端。 &n...
HBase–常用API操作篇
【常用到的几个类】 1. org.apache.hadoop.hbase.HBaseConfiguration 每一个hbase client都会使用到的对象,它代表的是HBase配置信息。它有两种构造方式: public HBaseConfiguration...
HBase–常用Shell操作篇
HBase为用户提供了一个Shell终端进行交互操作,通过“help get”命令可以获得帮助信息。 【查询相关】 1. 进入hbase shell console $HBASE_HOME/bin/hbase shell 2. 查看...