关于数据库去重问题的分析

根据条件分析数据

查询SQL：

SELECT ... FROM table （如果还其他条件加）WHERE ... GROUP BY 重复的条件 HAVING count(*)>1

数据分析：

1、 根据姓名、身份证号查询重复数据 排除数据来源是0、1的和姓名为空的数据 查出来重复数据共有19661条，包含系统界面中有明显问题的数据

2、 重复的数据只有ID不一样，其他信息基本一致，其中： 一个id是32位的随机码，例如：17ae2be09ca04fcca8e4525f5b02da97 一个id是身份证号作为ID

去重语句的编写

百度搜索的SQL语句优化后：

DELETE * FROM TABLE, ( SELECT MIN( ID ) minid, USER_NAME, IDCARD FROM TABLE WHERE sjly != 0 AND sjly != 1 AND USER_NAME != 'NULL' GROUP BY USER_NAME, IDCARD HAVING count( * ) > 1 ) lsb WHERE TABLE.USER_NAME = lsb.USER_NAME AND TABLE.IDCARD = lsb.IDCARD AND TABLE.ID = lsb.minid

分析：

1、根据ID的不同，可以凭借ID的性质（两条USER_NAME和IDCARD相同的数据ID是不同的，一个是18位数字，一个是32位数字加字母组合） 可以比较ID大小，用max()、min()函数保留id小的，或者id大的一个。 2、为了优化SQL，可以将所需条件生成一张临时表（from之后where之前的子查询） 3、使用where将子表中的数据与主表作对比，删除id小的一个。

问题没有解决的原因分析

有些数据存在以下情况：

1、其身份证没有填写，或不同，但是其他信息一致 2、其身份证一致，但是姓名不同（垃圾数据）

根据情况重新编写SQL

一点点将垃圾数据清理(╥╯^╰╥)

没了，就这么多|ू･ω･` )