六台Debian主机安装搭建Cloudera Manager 5和CDH5(版本5.9.0)大数据集群_Meyaoo的博客-CSDN博客_debian搭建cdh6
六台Debian主机安装搭建Cloudera Manager 5和CDH5(版本5.9.0)大数据集群
Meyaoo
于 2016-12-05 15:41:39 发布
3469
收藏
分类专栏：
Hadoop
文章标签：
大数据
cloudera
debian
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltliyue/article/details/53465971
版权
Hadoop
专栏收录该内容
6 篇文章
0 订阅
订阅专栏
系统环境： 六台虚拟主机 操作系统：Debian 7（8核，32G，512G硬盘） Cloudera Manager：5.9.0 CDH: 5.9.0
192.168.0.xx cdh1 192.168.0.xx cdh2 192.168.0.xx cdh3 192.168.0.xx cdh4 192.168.0.xx cdh5 192.168.0.xx cdh6
相关资源下载： 1.Cloudera Manager下载地址： http://archive.cloudera.com/cm5/cm/5/cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz
cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz
(wheezy是Debian系统版本，对应好你自己的系统)
2.CDH安装包地址： http://archive.cloudera.com/cdh5/parcels/5.9.0/
同样对应操作系统下载：
CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcelCDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1manifest.json
一、系统环境搭建（详细步骤略）
大概就是： 1.设置主机IP 2.重启网卡 3.修改主机名 4.关闭防火墙 5.关闭SELinux（centOS需要） 6.配置 /etc/hosts 把主机都填进去 7.重启机器 8.打通SSH免密码登录： 生成密钥：ssh-keygen -t rsa 复制秘钥到每台机器：ssh-copy-id -i <用户名>@<主机名> 11.安装配置JDK1.7+
二、主节点配置
1.在主节点安装配置mysql
2.登录mysql数据库
mysql -uroot -p密码
3.创建所需库
--创建hive数据库
create database hive DEFAULT CHARSET latin1;
--集群监控数据库
create database amon DEFAULT CHARSET utf8;
--hue数据库
create database hue DEFAULT CHARSET utf8;
--oozie数据库
create database oozie default charset utf8;
--授权
grant all privileges on hive.* to 'scm'@'%' identified by 'cdh' with grant option;
grant all privileges on amon.* to 'scm'@'%' identified by 'cdh' with grant option;
grant all privileges on hue.* to 'scm'@'%' identified by 'cdh' with grant option;
grant all privileges on oozie.* to 'scm'@'%' identified by 'cdh' with grant option;
flush privileges;
4.主节点解压安装cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz cloudera manager的目录默认位置在/opt下，解压：
tar -zxvf cloudera-manager-wheezy-*.tar.gz;
将解压后的目录放到/opt目录下。
5.为Cloudera Manager 5建立数据库
去MySql的官网下载JDBC驱动，找到mysql-connector-java-5.1.33-bin.jar，放到/opt/cm-5.9.0/share/cmf/lib/中
6.初始化cloudera manager数据库配置
/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -p密码 –-scm-host cdh1 scm scm scm
三、其他配置
1.在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
2.修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
vim /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
3.同步Agent到其他节点
scp -r /opt/cm-5.9.0 cdh2:/opt/
scp -r /opt/cm-5.9.0 cdh3:/opt/
scp -r /opt/cm-5.9.0 cdh4:/opt/
scp -r /opt/cm-5.9.0 cdh5:/opt/
scp -r /opt/cm-5.9.0 cdh6:/opt/
4.准备Parcels，用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。 相关的文件如下： CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1 manifest.json
最后将CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1，重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel文件。
5.相关启动脚本
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start /opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start <主节点都启动、其他节点只启动agent>
5.哦了，等一会打开浏览器 http://cdh1:7180 按照步骤开始配置就行了
四、遇到的问题
1.安装过程中安装失败或其他原因发现有部分主机显示受管不能添加组件
先停止所有服务。
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server stop
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent stop
删除Agent节点的UUID
rm -rf /opt/cm-5.9.0/lib/cloudera-scm-agent/*
清空主节点CM数据库 进入主节点的Mysql数据库，然后 drop database cm;
在主节点上重新初始化CM数据库
/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -pcecgw –-scm-host cdh1 scm scm scm
启动所有服务
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start
2.Impala 告警： /usr/bin/impala-shell:行47: 警告:setlocale: LC_CTYPE: 无法改变区域选项 (en_US.UTF-8): 没有那个文件或目录
安装en_US.UTF-8语言： dpkg-reconfigure locales
在选项中选择en-US.UTF-8 按空格选中。然后简单的按 ok 键就好了
PS：最后来张安装好的图炫一下，哈哈
Meyaoo
关注
关注
点赞
收藏
打赏
评论
六台Debian主机安装搭建Cloudera Manager 5和CDH5(版本5.9.0)大数据集群
系统环境： 六台虚拟主机 操作系统：Debian 7（8核，32G，512G硬盘） Cloudera Manager：5.9.0 CDH: 5.9.0192.168.0.xx cdh1 192.168.0.xx cdh2 192.168.0.xx cdh3 192.168.0.xx cdh4 192.168.0.xx cdh5 192.168.0.xx cdh6相关资源下载： 1
复制链接
扫一扫
专栏目录
cdh5.16.2-el7.zip.001 分卷1 CDH离线安装包
05-07
cdh5.16.2-el7分卷1 ，分卷2-3请点击本人头像，进入资源中搜索
CDH6.2.0安装详细步骤.docx
07-24
该资源用于CDH6.2.0的本地安装。
CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
参与评论
您还未登录，请先
登录
后发表或查看评论
CDH6安装文档(文末有cdh6.2.0网盘链接下载地址)
最新发布
asdsdwuwang的博客
12-06
32
CDH6安装文档(文末有cdh6.2.0网盘链接下载地址)
CDH6.2 Linux离线安装
sinat_28371057的博客
12-01
274
1.概述
　　CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。
　　CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。
　　CDH分为Cloudera Manager管理平台和CDH p
离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程（一）环境说明
weixin_34345753的博客
08-13
116
关于CDH和Cloudera Manager
CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监...
debian 安装cloudera CDH3
ljk12111217的博客
04-10
96
1.安装jdk（略）
2.蒋下面两行加到文件/etc/apt/sources.list.d/cloudera.list
查看debian 的 name of your distributio
lsb_release -c
deb http://archive.cloudera.com/debian squeeze-cdh3 contrib
deb-src http://a...
Debian10搭建K8S配合Centos7组成集群-----Debian篇
坐公交也用券
04-04
2906
一、系统环境
cat /etc/os-release
注意事项：master节点CPU核心最低要求2个
二、配置源
2.1、配置系统源
2.1.1、备份并查看源配置文件
备份源文件
cp /etc/apt/sources.list /etc/apt/sources.list.bak
查看源配置
cat /etc/apt/sources.list #查看原配置文件...
35.安装CDH环境准备
大勇若怯任卷舒
08-20
251
测试环境
CentOS6.5
使用root用户操作
操作系统CentOS6.5
35.1 环境前置
节点数量
最小规模，建议最少4台服务器，一台用作管理节点Cloudera Manager和NameNode等，另外三台用作工作节点，该规模仅用于开发和测试。
如果是生产系统，最少6台，3台管理节点包括1个Cloudera Manager，2个NameNode启用高可用，3个工作节点。
常见的较小规模的生产系统一般为10-20台。
操作系统选择
CDH支持在主流的64位Linux操作系统上部.
CDH搭建中关于parcel的问题【已解决】
福贵儿的博客
10-26
4750
1.问题描述
如果在搭建CDH的过程中，出现“对于此 Cloudera Manager 版本 (5.15.0) 太新的 CDH 版本不会显示”，那么应该就是parcel出现了问题,之前后缀名是改过的了，不知道为什么又变回来了，如
2.解决方案
简单方法： 将sha1 改成 sha，然后重启server，agent
终极方法：将parcel-repo文件下面的文...
大数据环境搭建-CDH6.3.0安装
wuhulala的休息室
05-06
1450
https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html
安装impala 非CDH 版本，恶心的一逼，算了老夫 花了20分钟装了一个CDH。
准备工作
配置hostname
设置hostname,一定要独一无二
sudo hostnamectl set-hostname foo-1.ex...
debian 系统安装 hadoop 和hbase 环境。
freewebsys的专栏
12-25
205
由于 自己使用的电脑 是debian 系统。所以 也想在自己的电脑上面安装一个 hbase 的环境。
笔记本 是64 bit 的但好像不可以，虚拟 64bit的系统。
所以干脆 装一个 环境算了。。
参考文档：
https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation
https://ccp.cl...
CDH大数据——cloudera-manager搭建安装集群CDH
LSY_CSDN_的博客
06-01
1287
目录
一、基础软件版本信息：
1、CDH对CentOS的版本要求：
2、CDH对数据库版本的要求：
3、CDH对jdk版本的要求：
4、CDH对浏览器的要求：
5、CDH对网络配置的要求：
6、CDH对安全传输协议（TLS）的要求：
7、CDH相关软件下载：
（1）Cloudera Manager(CM)下载地址：
（2）CDH安装包下载地址：
（3）本次采用的CM和CDH版本如下：
二、CDH基本优势：
三、CDH集群安装一般步骤：
1、集群规划：
2、集群内各节点root密
CDH6官方文档中文系列(7)----Cloudera安装指南(卸载Cloudera软件)
hanli2020的博客
06-08
648
Cloudera安装指南
文章目录Cloudera安装指南官方文档卸载CM和管理软件记录用户数据路径停止所有服务停用和移除包裹删除集群卸载Cloudera管理器服务器卸载Cloudera管理代理和管理软件删除Cloudera管理器和用户数据杀死Cloudera管理器和托管进程删除Cloudera管理器数据删除Cloudera管理锁文件删除用户数据停止并删除外部数据库从单个主机卸载CDH组件
官方文档
本指南提供了在生产环境中安装Cloudera软件(包括Cloudera Manager、CDH和其他托管服务
Ubuntu安装CDH及可能遇到的问题解决
qq_32027689的博客
05-09
1108
1. 安装前的准备工作我采用的是使用CM 5.14.0来安装CDH，因此只讲这一种。目前，根据官方给的文档所给出的数据，支持的各个环境最新版本如下：Ubuntu 16.04jdk 1.8u144mysql 5.7python2.4以上 不支持python3同时为了以防万一，全程采用root用户安装。修改主机名：gedit /etc/hostname
在打开的文件中写入主机名我的主节点是cdhmas...
史上最全cdh安装详细教程
热门推荐
一亩三分地
01-27
3万+
此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出.
这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:
>>操作系统版本: centos 6.8
>>MySQL数据库版本: 5.6.24
>>CM版本: CM 5.12.1
>>CDH版本: CDH 5.12.1
&...
Cloudera Manager 5.9 和 CDH 5.9 离线安装
weixin_30709061的博客
09-06
130
因项目需要，需要搭建一个cloudera集群，由于项目分工不同，之前一直有运维同学负责cloudera运维升级问题，本人平时只是跑跑作业，这是首次自己搭建cloudera集群。
由于运维同学提供的cloudera 安装文档版本为 5.9，所以就选择安装5.9版本，安装过程中主要参考了 “破击手”写的：https://www.cnblogs.com/pojishou/p/6267616....
ElasticSearch 7.x的raft算法选主流程
lzf的博客
04-24
693
简介
7.x之后的ES，采用-种新的选主算法Raft [rɑːft] n. 筏；救生艇。
Raft算法选主流程
其设计原则如下：
容易理解
减少状态的数量，尽可能消除不确定性
在Raft中，节点可能的状态有三种，其转换关系如下：
正常情况下，集群中只有一个Leader，其他节点全是Follower。Follower 都是被动接收请求，从不主动发送任何请求。Candidate [ˈkændɪdət; ˈkændɪdeɪt] n. 候选人，候补者；应试者 是从Follower到Leader的中.
CDH5安装
kingjo002的专栏
04-14
6272
https://wiki.debian.org/JavaPackage
java-package provides the ability to build a Debian package from a Java binary distribution by running
make-jpkg (with archive files downloaded from provid
Ubuntu 14.04 安装 Cloudera Manager 5 And CDH 5 (在线安装)
Blackeyed
02-29
5286
基本准备
Debian Linux amd64版本系统安装
世事难料，保持低调
08-04
3784
Amd64版本不是指专用于AMD芯片，Intel和AMD的64位CPU都可以用。
1. 下载debian-6.0.2.1-amd64-kde-CD-1.iso，用UltraISO等工具刻成光盘。用光盘启动完成安装。没光驱可以用UNetbootin从U盘安装。
2. 安装网卡驱动。如果在安装过程中无法识别网卡，则需要将驱动下载后拷贝到安装机上，编译安装。注意要先从安装盘上安装编译所需的包：
cloudera manager5.14版本更新信息
01-26
1997
总体概况5.14.0的cdh更新内容
Apache Impala
Apache Kudu
Cloudera Search
Apache Impala
1、新的布尔运算符： IS TRUE, IS NOT TRUE, IS FALSE, IS NOT FALSE, IS UNKNOWN, and IS NOT UNKNOWN. 这些操作员总是返回TRUE或者是FALSE, 即使左边的表
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
Meyaoo
CSDN认证博客专家
CSDN认证企业博客
码龄12年
京东钼媒
27
原创
8万+
周排名
135万+
总排名
8万+
访问
等级
1159
积分
40
粉丝
29
获赞
26
评论
67
收藏
私信
关注
热门文章
Hive表数据去重
11982
通过Flume拉取Kafka数据保存到HDFS
9374
Hadoop2.6.2完全分布式集群HA模式安装配置详解
7254
通过Hive外部表迁移Kudu数据表
4895
通过Flume拉取Kafka数据保存到ES
4534
分类专栏
K8S
1篇
Flink
Hadoop
6篇
HBase
8篇
Hive
4篇
Storm
1篇
Flume
1篇
Elasticsearch
3篇
Kafka
1篇
Android
KUDU
1篇
最新评论
Flink程序经过reduce聚合后不输出sink的问题
Shaw_N:
并发时，数据走到了不同的通道，无法触发窗口，这个要怎么理解，大佬能详细说一下吗，不太懂
使用JAVA将Hadoop HDFS中的日志文件导入HBase中（一）
Equany:
请问pom.xml怎么写
通过Hive外部表迁移Kudu数据表
炫小峰:
如果数据量很大，也可以直接用insert into select 这种方式来导入kudu吗。为啥我这边目前的数据量差不多200M左右，这边插入的时候一直报错
使用MapReduce解析HDFS中的文件生成HFile文件导入HBase（三）
luog_aiyu:
博主 有原数据的格式吗？ 能贴一下吗？
Kubernetes日志收集：log-pilot+KAFKA+Logstash+ES
weixin_41005982
回复
Meyaoo: 多谢，已经可以了
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Kubernetes日志收集：log-pilot+KAFKA+Logstash+ES
Flink程序经过reduce聚合后不输出sink的问题
CentOS6安装搭建Cloudera Manager 5和CDH5(版本5.13.3)大数据集群
2020年3篇
2019年1篇
2018年4篇
2017年3篇
2016年15篇
2014年1篇
目录
目录
分类专栏
K8S
1篇
Flink
Hadoop
6篇
HBase
8篇
Hive
4篇
Storm
1篇
Flume
1篇
Elasticsearch
3篇
Kafka
1篇
Android
KUDU
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
Meyaoo
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值