最近一段时间将Hue(v3.11.0)服务集成到了Ambari(v2.4.0+),通过Ambari来便捷的操作配置Hue服务。源码已提交到Github:https://github.com/EsharEditor/ambari-hue-service,基本功能的测试结束,后续Bug修复会持续进行…
组件简介
- Ambari: Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Yarn、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
- Hue: Hadoop UI系统,实现在Web控制台与Hadoop集群进行交互来分析和处理数据。用户可以通过Hue在Web端使用大数据集群中的HDFS、Hbase、Hive、Oozie、Zookeeper、Pig等。
安装说明
版本说明
Github中提供了两个版本的Ambari-Hue:v1.0.0和v2.0.0
release-1.0.0
- Ambari: 2.1.0~2.2.2
- Hue: 3.9.0
release-2.0.0
- Ambari: 2.4.0+
- Hue: 3.10.0+
部署Ambari-hue
下载ambari-hue到Ambari组件服务目录
123VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`rm -rf /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUEsudo git clone https://github.com/EsharEditor/ambari-hue-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/HUE重启ambari-server
1service ambari-server restart在Ambari Web端的‘Action’下拉菜单中的点击‘Add Service’按钮
On bottom left -> Actions -> Add service -> check Hue server -> Next -> Next -> Change any config you like (e.g. install dir, port) -> Next -> Deploy
默认安装目录是/usr/local/hue
安装成功后在Ambari界面能看到Hue服务:
使用Ambari-hue
配置Hue
- Ambari-hue v2.0.0版本在v1.0.0基础上做了更多的配置方面的优化,如用户能够在Ambari界面上通过Hue Service Module配置模块开启和关闭Hue中的组件服务、通过Hue User Info配置模块开启和配置unix或者Ldap用户同步、通过Hue Database配置模块配置元数据库和其它数据库信息等。如图:
Service Action
- UserSync: 从Hue安装linux节点或Ldap服务器中同步用户到Hue中
- DatabaseSync: 同步Hue元数据库信息
移除Hue服务
通过Ambari界面Hue服务‘Service Action’-‘Delete Service’
通过Rest API删除Hue服务
12345#停止Huecurl -u admin:$PASSWORD -i -H 'X-Requested-By: ambari' -X PUT -d '{"RequestInfo": {"context" :"Stop $SERVICE via REST"}, "Body": {"ServiceInfo": {"state": "INSTALLED"}}}' http://$AMBARI_HOST:8080/api/v1/clusters/$CLUSTER/services/HUE#删除Huecurl -u admin:$PASSWORD -i -H 'X-Requested-By: ambari' -X DELETE http://$AMBARI_HOST:8080/api/v1/clusters/$CLUSTER/services/HUE删除节点上Hue相关信息
12345rm -rf /usr/local/hue*rm -rf /var/log/huerm -rf /var/run/huerm /usr/hdp/current/hadoop-client/lib/hue-plugins-3.11.0-SNAPSHOT.jarrm /usr/hdp/current/hue-server
注:本人使用的是本地搭建的HDP的源,Hue是自己编译打后打成hue-3.11.0.tgz包上传到本地HDP源的hue目录下。