Hive优化(SQL) 1、where语句优化 select m.cid,u.id from order m join customer u on( m.cid =u.id )where m.dt=‘20180808’; 可优化为 select m.cid,u.id from （select * from order where dt=‘20180818’） m join customer u on( m.cid =u.id); 2、union优化 尽量不要使用union （union 去掉重复的记录）而是使用 union all 然后在用group by 去重 3、count distinct优化 不要使用count (distinct cloumn) ,而要使用子查询实现count(distinct) select count(1) from (select id from tablename group by id) tmp; 4、如果需要根据一张表的字段约束另一个张表，用in代替join select id,name from tb1 a join tb2 b on(a.id = b.id); 可优化为 select id,name from tb1 where id in(select id from tb2); in 要比join 快 5、消灭子查询内的 group by 、 COUNT(DISTINCT)，MAX，MIN。 可以减少job的数量。 6、join优化 map端join set hive.auto.convert.join = true; 默认为true set hive.mapjoin.smalltable.filesize=25000000; 设置小表的阈值 7、本地模式 当 Hive 查询处理的数据量比较小时，其实没有必要启动分布式模式去执行，因为以分布式方式执行就涉及到跨网络传输、多节点协调 等，并且消耗资源。这个时间可以只使用本地模式来执行 mapreduce job，只在一台机器上执行，速度会很快 set hive.exec.mode.local.auto=true 是打开 hive 自动判断是否启动本地模式的开关，但是只 是打开这个参数并不能保证启动本地模式，要当 map 任务数不超过 hive.exec.mode.local.auto.input.files.max 的个数并且 map 输入文件大小不超过 hive.exec.mode.local.auto.inputbytes.max 所指定的大小时，才能启动本地模式。
