【CDH6】Hue的安装及使用

2020-12-20

Hue 的安装

HUE 是一个开源的 Apache Hadoop UI 系统,早期由 Cloudera 开发,它是基于 Python Web 框架 Django 实现,后来贡献给开源社区。它包括 3 个部分 hue ui,hue server,hue db。通过使用 Hue 我们可以通过浏览器方式操纵 Hadoop 集群,查看修改 hdfs 的文件,管理 hive 的元数据,运行 Sqoop,编写 Oozie 工作流等大量工作。Hue 的安装可以依赖 hive 和 oozie,所以这里先安装了 Hive 和 oozie。

  1. 选择集群,添加服务:
    image20201218155913421.png

  2. 添加服务向导:
    选择“hue”服务,点击“继续”:
    image20201218160115136.png
    选择依赖,点击“继续”:
    image20201218160432737.png
    角色按照默认配置即可,点击“继续”,完成 hue 的安装
    image20201218160610471.png
    当点击“继续”后,需要给 hue 配置数据库,需要在 cm-s1 节点上连接 MySQL,执行创建数据库及分配权限语句:

    [root@cm-s1 ~]# mysql -hcm-s1 -pAz123456_ -e "create database hue DEFAULT CHARACTER SET utf8;grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'Az123456_';flush privileges;"
    

    在弹出的页面中选择数据库,填写用户名及密码,点击“测试连接”,测试数据库连接成功后,点击“继续”:
    image20201218160957019.png
    等待服务向导完成,点击“继续” -> “完成”,完成 hue 安装
    image20201218161138627.png

Hue 的使用

以上将 hue 安装在 cm-s1 节点上,这里登陆 hue 时,地址为:http://cm-s1:8889,首次登陆 hue 需要登陆 hue 的账号密码,这里输入 user:myhue,password:myhue。最好这里使用 hdfs 用户。因为 hdfs 用户可以操作 hdfs 中的文件,如果使用其他用户只能在当前用户的目录下创建文件。

image20201218215243709.png

  1. hue 创建用户
    点击“管理用户”->“添加用户”可以创建用户,并且可以指定权限,是否在 HDFS 中创建主目录等。
    image20201219131700865.png
    image20201219131819888.png

  2. hue 操作 HDFS 文件
    可以创建新的文件,也可以修改,最好 HDFS 中大文件不要在 hue 中操作。hue 中的用户默认是进入当前用户的主目录进行操作。
    image20201219141624972.png
    image20201219143330314.png
    点击以上“文件”进入到 HDFS 文件系统,进行创建上传文件夹或者文件,还可以对文件进行编辑。
    image20201219145914777.png

  3. Hue 操作 hive 中的数据
    登录 hue 之后,点击“查询” -> “编辑器” -> “Hive”,编写 SQL 创建 Hive 表:
    image20201219144759105.png
    创建完成后,点击 hive 数据库刷新,可以看到刚才创建的 Hive 表,创建表完成之后,可以右键表找到“在浏览器中打开”,可以查询、导入、删除表等操作,导入数据时选择的数据可以是 HDFS 中也可以是本地中的文件数据:
    image20201219151004538.png
    点击“提交”将 HDFS 中文件数据导入到表中。点击“查询”查询表中的数据,如下:
    image20201219151314668.png
    在 Hive SQL 面板中还可以查询数据,在查询编辑器中执行查询 SQL 语句:
    image20201219151742409.png
    执行 SQL 语句之后,hql 转换成 MR 作业,可以点击“作业”查看任务:
    image20201219152515160.png

  4. Hue 添加 RDBMS 数据库
    hue 也支持 RDBMS 关系数据库的展示及操作。启动 Cloudera Manager 登录 Hue 之后,在配置中搜索“hue_safety_valve.ini”配置项,配置如下内容,保存更改:

    [librdbms]
    [[databases]]
    [[[mysql]]]
    nice_name="all mysql databases"
    engine=mysql
    host=cm-s1
    port=3306
    user=root
    password=Az123456_
    options={ "init_command":"SET NAMES 'utf8'"}
    
    [notebook]
    [[interpreters]]
    [[[hive]]]
    name=Hive
    [[[mysql]]]
    name=Mysql
    interface=rdbms
    [[[java]]]
    name=Java
    interface=oozie
    [[[spark2]]]
    name=Spark
    interface=oozie
    [[[shell]]]
    name=Shell
    interface=oozie
    [[[sqoop1]]]
    name=Sqoop1
    interface=oozie
    [[[distcp]]]
    name=Distcp
    interface=oozie
    

    image20201219153219089.png
    以上参数中,nice_name 指定在 hue 中显示的连接名称。name 指定连接的 MySQL 数据库名称,不指定这个参数,将默认显示全部的数据库。engine 指定 MySQL 数据库类型。host 指定数据库地址。port 指定数据库端口号。user 指定连接用户名。password 指定密码。options 中指定的“init_command”指定数据库编码为 utf8,防止有中文时乱码。
    此外,在配置“[notebook]”时,可以只需要配置 Hive 与 MySQL 即可。以上配置完成之后,重启 hue。重新进入 hue webui 中,点击“查询”->“编辑器”,可以看到“MySQL”标签,点击在主页右侧“SQL”中也会出现对应的 MySQL 中的数据库及表信息。
    image20201219153717122.png


标题:【CDH6】Hue的安装及使用
作者:散宜生
地址:https://17kblog.com/articles/2020/12/20/1608474110157.html