Shuffle 标签

Apache Hadoop Shuffle过程 有更新!

一个MR程序执行要经历以下五个步骤:input=>Map=>Shuffle=>Reduce=>output其中map和reduce需要我们根据业务逻辑编写代码,在Map和reduce之间存在一种自动执行的操作Shuffle。同样的Shuffle也可以划分为Map端的ShuffleReduce端的Shuffle,Map操作之后的的数据如何转换成Reduce的输入,这个过程和操作由Shuffle决定。

By/Atlas/日期:2017-08-08 17:58:14/ 1 评论/850 浏览 阅读全文 »