hive排序函数四个by的总结

mac2022-06-30  23

order  By(全局排序) :一个reducer,执行一个job。Total Job=1,可以在运行日志中看到:number of reucers=1.用在select语句的后面。

sort By(分区内排序):每个reducer内部进行排序,对全局结果集来说不是排序。随机分区,防止数据倾斜。①设置reduce个数。set mapreduce.job.reducers=3;②查看reduce个数。set mapreduce.job.reducers;

distribute By(分区排序):类似于map中的partition,进行分区,结合sort By使用,使用时多配置reduce进行处理。

cluster By():当distribute By 和sort By字段相同时,可以使用cluster By的形式。排序只能倒序排序,不可指定。

 

 

 

最新回复(0)