Hue学习笔记 （一）---入门学习

目录

Hue 是什么

            Hue 能做什么

Hue 的架构

             hue集成Oozie 调度 shell程序执行shell 脚本  

 利用 hue 调度 hive 脚本

              利用 Hue 集成 Oozied 配置定时调度任务

---

                                                                                                                    本人简单笔记，记录不是很仔细，望见谅！

Hue 是什么

HUE=Hadoop User Experience

Hue 是一个开源的 Apache Hadoop UI 系统，由 Cloudera Desktop 演化而 来，最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区，它是基于 Python Web 框架 Django 实现的。

通过使用 Hue，可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互， 来分析处理数据，例如操作 HDFS 上的数据，运行 MapReduce Job，执行 Hive 的 SQL 语句，浏览 HBase 数据库等等。

Hue 能做什么

访问 HDFS 和文件浏览 通过 web 调试和开发 hive 以及数据结果展示 查询 solr 和结果展示，报表生成 通过 web 调试和开发 impala 交互式 SQL Query spark 调试和开发 oozie 任务的开发，监控，和工作流协调调度 Hbase 数据查询和修改，数据展示 Hive 的元数据（metastore）查询 MapReduce 任务进度查看，日志追踪

---

Hue 的架构

Hue 是一个友好的界面集成框架，可以集成各种大量的大数据体系软件框架， 通过一个界面就可以做到查看以及执行所有的框架。 Hue 提供的这些功能相比 Hadoop 生态各组件提供的界面更加友好，但是一 些需要 debug 的场景可能还是要使用原生系统才能更加深入的找到错误的原因。

                                              

---

hue集成Oozie 调度 shell程序执行shell 脚本  

集成

[liboozie] oozie_url=http://node01:11000/oozie remote_deployement_dir=/user/root/oozie_works [oozie] oozie_jobs_count=100 enable_cron_scheduling=true enable_document_action=true enable_oozie_backend_filtering=true enable_impala_action=true [filebrowser] archive_upload_tempdir=/tmp show_download_button=true enable_extract_uploaded_archive=true

编辑一下 ，拖下来选中要执行的 shell脚本 

 这个 也要选中

 保存 ，出现了 submit 

 

 下面我们看到 执行 100 % 并且显示为 绿色 就表明 执行时成功的，黄色 就是 中断了，连接不上 什么。。。显示红色就是死掉了

 这里说一下出错了怎么修改可以找到历史记录

 点进去就可以看到执行过的 历史任务

    执行完成之后，找到 workflows 可以查看 脚本执行 后的信息，当 Oozie 和Hue 集成后，我们就不用自己编写 properties 和 workflow.xml 文件了。

 利用 hue 调度 hive 脚本

集成

[beeswax] hive_server_host=node03 hive_server_port=10000 hive_conf_dir=/export/servers/hive/conf server_conn_timeout=120 auth_username=root auth_password=123456 [metastore] #允许使用 hive 创建数据库表等操作 enable_new_create_table=true use default; create table tb_hue_test(id int , name string); insert into tb_hue_test values(1,'kangna'); insert into tb_hue_test values(1,'zhangsan');

选中我们写的SQL 文件，然后提交

 经过漫长的等待之后就显示成功了，现在可以去 hive 中查看一下。

 

 利用 Hue 集成 Oozied 配置定时调度任务

选择 schedule , 自定义一个定时任务，我执行的是上面的 任务。

       在这里说一下时区的问题很重要， 三台机器的我选择了 GMT+800 东八区 ， 上面选择了  中国/上海， 这个东西很重要，不然就会出错。 后面保存任务，提交就可以了。

 这样就可以完美的结束了一个 定时  任务，我们 可以 自己定义 每天 凌晨  GC ，什么的 

          简单的配置初体验 了一把， 工具本身 不难的，就是修改配置文件，可能安装 会报 一些错。