第2节 网站点击流项目(下)：8、结果的导出以及工作流的调度工作

利用sqoop导出数据到mysql：

eg. dw_pvs_everydayDROP TABLE IF EXISTS `dw_pvs_everyhour_oneday`;CREATE TABLE `dw_pvs_everyhour_oneday` ( `month` varchar(32) DEFAULT NULL, `day` varchar(32) DEFAULT NULL, `hour` varchar(32) DEFAULT NULL, `pvs` varchar(32) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;

bin/sqoop export --connect jdbc:mysql://node03:3306/weblog --username root --password root -m 1 --export-dir /user/hive/warehouse/weblog.db/dw_pvs_everyday --table dw_pvs_everyday --input-fields-terminated-by '\001';

 

工作流的调度工作：

程序调度一共分为以下步骤：

第一步：第一个MR程序执行

第二步：第二个MR程序执行

第三步：第三个MR程序执行

第四步：hive表数据加载

第五步：hive表数据分析

第六步：分析结果通过sqoop导出

 

转载于:https://www.cnblogs.com/mediocreWorld/p/11108485.html

相关资源：JAVA上百实例源码以及开源项目