【CDH6】CDH 集成 Flink

2020-12-20
  1. 下载 Flink jar 工具包
    Flink jar 工具包主要是让 Cloudera Manager 来支持 Flink 服务安装,下载 Flink jar 工具包并上传到本地服务器:

    [root@cm-s1 ~]# wget https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar -P /opt/cloudera/csd
    
  2. 下载 Flink parcels 文件
    Flink parcels 文件中含有 Flink 的安装包,下载 Flink Parcels 时,需要下载以下三个文件:

    [root@cm-s1 ~]# wget https://archive.cloudera.com/csa/1.0.0.0/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel -P /opt/cloudera/parcel-repo
    [root@cm-s1 ~]# wget https://archive.cloudera.com/csa/1.0.0.0/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha -P /opt/cloudera/parcel-repo
    [root@cm-s1 ~]# wget https://archive.cloudera.com/csa/1.0.0.0/parcels/manifest.json -O /opt/cloudera/parcel-repo/manifest.json
    
  3. 分配 parcel 进行安装
    进入 Cloudea Manager 平台中,点击“主机”,选择“Parcel”,进入 parcel 管理页面。
    image20201220210237796.png
    点击“检查新 Parcel”,刷新几次就可以看到对应的 Flink Parcel 出现,如下图:
    image20201220210638446.png
    点击分配,会将 parcel 分发到其他 Agent 节点,并自动完成解压。
    image20201220210833111.png
    点击激活,激活就是在 Linux 中创建对应的 Flink 一些目录和用户,激活成功后可以在集群中添加 Flink 服务。

  4. 重启 Cloudera Manager 服务
    需重启 CM 服务,加载 Flink jar 工具包,以支持 Flink 服务。

    [root@cm-s1 ~]# systemctl restart cloudera-scm-server.service
    [root@cm-s1 ~]# for i in `seq 0 3`;do ssh root@192.168.0.5$i systemctl restart cloudera-scm-agent.service;done
    

    重新访问 CM,并根据提示在页面上点击重启 CM Serivce
    image20201220212018007.png

  5. 添加 Flink 服务
    打开 CM 主页,找到对应的集群,添加 Flink 服务。
    image20201220212220212.png
    image20201220212323191.png
    选择 Flink HistoryServer 和 Flink 客户端:
    image20201220212624791.png
    点击“继续”,“审核更改”中可以不做修改,点击“继续”->”完成”。最后结果 Flink 服务实例安装完成。
    image20201220214239646.png


标题:【CDH6】CDH 集成 Flink
作者:散宜生
地址:https://17kblog.com/articles/2020/12/20/1608474708314.html