hive修改字段后查询不了数据

mac2025-05-17  20

情况描述

hive版本为: apache-hive-2.1.0 hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3

修改添加两个字段删除一个字段,但跟日志文件数据是一一对应的。 发现修改后,在hive中用mapreduce查询这两个新加的字段,值为null。 而用hive中用spark引擎却可以找到字段的值。

hive修改字段

通过alert table tablename add column(旧字段1,旧字段2,…,旧字段N,新字段1,新字段2) 修改。

修改

在hive中,修改后发现查询旧字段时正常的,而新加的字段1,字段2值为null。 使用spark引擎,发现该数据查询正常。

解决

分区按日期分,重新关联hdfs。 写个执行脚本,从开始日期的日志当最新的日志

脚本

#!/bin/sh begin = $(date +%s -d "20151101") end = $(date +%s -d "20191101") db=sss tmpfile = /tmp/tmp.sql while[ $begin -le $end ] do dt = $(date +%Y%m%d -d @begin) echo "alert table tablename drop partition(date=$dt);alert table $db.tablename add partition(pdate=$dt) location '/$db/$dt/';" >> $tmpfile begin=$((begin+86400)) done hive -f $tmpfile
最新回复(0)