理解Hadoop中的Partitioner

一直对Partitioner的概念比较模糊，今天看书的时候碰到了，参考了一些网友的博客，解析如下:

1. 组件作用

Partitioner可以让Map/Reduce对key进行分区，从而可以根据不同的Key分组数据发送到Reduce中处理。

2. 如何使用

（1）默认

框架自带了一个默认的分区类，HashPartitioner，先看看这个类，就知道怎么自定义key分区了。

public class HashPartitioner<K, V> extends Partitioner<K, V> {

  public int getPartition(K key, V value,int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

解释一下这个HashPartitioner做的事情：
(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
将key均匀分布在ReduceTasks上，举例如果Key为Text的话，Text的hashcode方法跟String的基本一致，都是采用的
Horner公式计算，得到一个int，string太大的话这个int值可能会溢出变成负数，所以与上Integer.MAX_VALUE（即
0111111111111111），然后再对reduce个数取余，这样就可以让key均匀分布在reduce上。
这个简单算法得到的结果可能不均匀，因为key毕竟不会那么线性连续，这时候可以自己写个测试类，计算出最优的hash算法。
PS：hadoop框架本身包含了一些跟hash算法相关的数学之美，比如布隆过滤器（BloomFilter），写好hash函数是关键。

（2）自定义

    1）继承抽象类Partitioner，实现自定义的getPartition()方法；

    2）通过job.setPartitionClass()来设置自定义的Partitioner。