elasticSearch实现mysql中的distinct功能

为了实现类似等价的sql：

SELECT COUNT(DISTINCT deviceID) FROM t_order_report;

为什么我要说类似等价呢？ 因为从精确性、性能等角度还是存在很大的差别！

前置条件，场景为：

        用户可以通过时间、套餐类型、订单状态等等查询条件，过滤出满足条件的设备数信息

        因此使用deviceID+各种限制条件 作为Key存储达到去重效果的方式不可行。

如果你对去重结果的精准度没有特殊要求，使用cardinality聚合函数

        AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定义一个精度范围100-40000)

            优点：性能快，亿级别的记录在1秒内完成

            缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景

如果你对去重结果要求精确，使用termsagg聚合（类似group by）

            AggregationBuilders.terms("deviceCount").field("deviceID").size(Integer.MAX_VALUE);

            说明：默认只聚合10个桶，size(Integer.MAX_VALUE)可以指定桶个数

            优点：结果精确

            缺点：只适合聚合少量桶场景（100以内），否则性能极差（十万级的桶需要分钟级完成）

针对海量数据去重（多桶）场景，方法尝试：

            scroll查询全量数据后手动去重

            缺点：性能不达标

            pass...

 

实现方式

使用聚合方式实现

按 floor distinct，并取出 num 最大的一条记录

{ "size": 0, "aggregations": { "field1": { "terms": { "field": "floor", "size": 20 }, "aggs": { "num_top": { "top_hits": { "_source": true, "size":1, "sort": {"num":"asc"} } } } } } }

注：不可以分页

使用 collapse 折叠功能

例如，下面的查询检索 message 中有 elasticsearch 值的 twitter，按喜好数量对它们进行排序并按用户 distinct（取排序后每个用户的第一条数据）。

GET /twitter/_search { "query": { "match": { "message": "elasticsearch" } }, "collapse" : { "field" : "user" }, "sort": ["likes"], "from": 10 }

inner_hits

curl -X GET "localhost:9200/twitter/_search" -H 'Content-Type: application/json' -d' { "query": { "match": { "message": "elasticsearch" } }, "collapse" : { "field" : "user", "inner_hits": { "name": "last_tweets", "size": 5, "sort": [{ "date": "asc" }] }, "max_concurrent_group_searches": 4 }, "sort": ["likes"] } '

注：仅仅适用于 keyword 和数字类型

统计总数

按 floor distinct 后总数，使用到了数值度量聚合

{ "aggs": { "distinct": { //该参数 key 随意 "cardinality": { "field": "floor" } } } } // 相应 ... "aggregations" : { "distinct" : { "value" : 20 } }

总结：目前elasticsearch 对海量数据去重，支持的并不友好，暂无好的解决方案