大数据体系

mac2024-03-11  28

大数据系统体系:数据采集、数据计算、数据服务、数据应用 一. 数据采集层:

(1)web端日志采集技术方案:Aplus.js

(2)app端日志采集技术方案: UserTacker

(3)把数据从生产业务端传输到大数据系统:TimeTunnel 包括数据库增量数据传输 / 日志传输 / 实时流式传输 / 各时间窗口的批量传输

二. 数据计算层:

(1)离线计算平台:MaxComputer

(2)流式大数据平台:StreamComputer

(3)数据管理的方法体系及工具:oneData

(4)数据仓库:传统数据仓库(加工周期为年/月/周/日 T-1/小时)、实时数据仓库

(5)数据仓库加工链路:ODS(operational data store)、DWD(data warehouse detail)、DWS(data warehouse summary)、ADS(application data store)

三. 数据服务层:

1)对外提供数据服务通过数据服务平台:oneService 以数据仓库整合计算好的数据作为数据源,以对外提供接口的方式提供简单数据查询、复杂数据查询、实时数据推送等数据服务。

四:数据应用层:

1)对内应用:

2)对外产品:生意参谋

最新回复(0)