散宜生的个人博客

散宜生的个人博客

累计撰写 220 篇文章
累计创建 205 个标签
累计收到 0 条评论

目录CONTENT

最新文章

2021-02-26
利用iptables更改数据包的目的IP 我们在工作中可能会遇到内网服务器通过外网IP调用本地服务，而网络不可达的问题，如图示：需求：我们希望主机A 内的应用程序能够直接以 http://111.111.111.111:8848/index.html 访问服务，则需要在主机A 上设置iptables规则，以更改数据包的目的IP。解决
- 2021-02-26
- 0
- 0
- 0
- Linux
2020-12-22
MacOS 挂载目录到另一个目录需求场景：系统盘太小需要将占用存储空间较大的目录放到其他硬盘上，而又希望能在finder中的原位置进行管理系统环境：已经将第二块硬盘分区并挂载到了指定目录： ~/ cat /etc/fstab #开机挂载分区到指定目录 /exsdd 下，不希望默认挂载到 /Volumes/xxx 目录 UUI
- 2020-12-22
- 0
- 0
- 0
- Linux
- 运维
2020-12-20
【CDH6】CDH 集成 Flink 下载Flink jar 工具包 Flink jar 工具包主要是让 Cloudera Manager 来支持 Flink 服务安装，下载Flink jar工具包并上传到本地服务器： [root@cm-s1 ~]# wget https://archive.cloudera.com/csa/1.0.0
- 2020-12-20
- 0
- 0
- 0
2020-12-20
【CDH6】Impala 安装及使用 Impala 介绍 Impala 简介 Impala由Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。已有的Hive系统虽然也提供
- 2020-12-20
- 0
- 0
- 0
2020-12-20
【CDH6】Hue的安装及使用 Hue 的安装 HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，它是基于Python Web框架Django实现，后来贡献给开源社区。它包括3个部分hue ui，hue server，hue db。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群，查看修改
- 2020-12-20
- 0
- 0
- 0
2020-12-20
【CDH6】Oozie 安装及使用 Oozie 的安装 oozie是一个基于Hadoop的工作流引擎，也叫任务调度器，它以xml的形式写调度流程，可以调度mr、pig、hive、shell、jar和spark等。在工作中如果多个任务之间有依赖执行顺序要求，可以使用oozie来进行调度执行。选择集群，添加 oozie 服务添加服务向
- 2020-12-20
- 0
- 0
- 0
- 大数据
2020-12-20
【CDH6】安装 Hive 安装 Hive 选择集群，添加 Hive 服务添加服务向导选择依赖（只有一项可供选择时则默认跳过），点击“继续”，选择默认角色配置即可：点击“继续”之后，需要配置Hive依赖的mysql数据库，需要在cm-s1节点上连接my
- 2020-12-20
- 0
- 0
- 0
- 大数据
2020-12-18
CDH 6.3.2 部署 Cloudera Manager安装系统环境准备，安装基础环境选择四台已经安装 CentOS7 Linux系统的节点，分配资源。安装CDH节点推荐内存为64G，大部分内存被Cloudera Management Service 占用，因为做了大量的数据分析和整合。这里，划分四台节点如下：主机
- 2020-12-18
- 0
- 0
- 0
- 大数据
2020-11-24
K8s 日志收集 1.1 Kubernetes 日志简介应用和系统日志可以帮助我们了解在一个集群内部到底发生了什么。当调试问题以及监控集群活动的时候日志是非常有帮助的信息。对于容器应用，默认情况下是将日志信息输出到 stdout 和 stderr 中，同时会将日志信息输出到宿主机上的一个 JSON 文件中，通过命令
- 2020-11-24
- 8
- 0
- 0
- kubernetes
2020-11-22
K8s 安全配置2 3.1 Kubernetes 授权简介在 Kubernetes 早期的版本中，如果你通过某种方式从集群中的一个 Pod 获得了 token，就可以在集群中使用这个 token 执行任何操作。所以从 Kubernetes1.8.0 版本开始，为了提高集群的安全性，RBAC 授权插件在集群上是默认开启
- 2020-11-22
- 6
- 0
- 0
- kubernetes

1
2
3
4
5
...
22