大数据cdh平台安装

安装包准备

1.1.软件包准备
Linux版本：CentOS 7.2
MySQL版本：5.6  连接Jar包：mysql-connector-java-5.1.40-bin.jar
JDK版本：jdk-8u144-linux-x64.rpm
Cloudare Manager安装包:
http://archive.cloudera.com/cm5/cm/5.16.1
CDH5.9安装包：
http://archive.cloudera.com/cdh5/parcels/5.16.1 

2环境准备

2.1准备机器
  10.10.10.1  --CM节点
  10.10.10.2  
  10.10.10.3 
  10.10.10.4
2.2.关闭SELinux

[root@kf01~]# setenforce 0
编辑SELinux的配置文件，将SELINUX=enforcing改为SELINUX=disabled，以便在系统重启时予以设置
[root@kf01 ~]# vim /etc/selinux/config
SELINUX=disabled

2.3.关闭防火墙
在所有Hadoop节点上，关闭系统防火墙和开机启动
[root@kf01 ~]# systemctl stop firewalld $$ systemctl disable firewalld

2.5.配置SSH免密登录
（仅配置主节点可免密登录从节点）
在主节点（kf01）上生成密钥对，并将公钥复制到所有Hadoop节点
[root@kf01 ~]# ssh-keygen
[root@kf01 ~]# ssh-copy-id kf01.sxd.com
[root@kf01 ~]# ssh-copy-id kf02.sxd.com
[root@kf01 ~]# ssh-copy-id kf03.sxd.com

2.6安装JDK
1:清理原低版本或其他分支版本jdk
 检索是否有存在项
 rpm -qa|grep jdk
 rpm -e --nodeps  jdk
2:jdk 安装
  rpm -ivh jdk-8u111-linux-x64
3:检查是否按照成功
  java -version

2.7.配置NTP服务
2.7.1.同步集群外时间源
在所有Hadoop节点上，编辑配置文件/etc/ntp.conf，添加NTP服务器地址
[root@kf01 ~]# vim /etc/ntp.conf
server 192.168.132.200
先手动同步时间，然后重启NTP服务，并添加至开机启动
[root@kf01 ~]#ntpdate 192.168.1332.200
[root@kf01 ~]# systemctl start ntpd
[root@kf01 ~]# systemctl enable ntpd

2.8安装Mysql 

配置本地yum源，直接安装。

cat >/etc/yum.repos.d/mysql.repo <<EOF
[mysql]
name=mysql5.6
baseurl=http://192.168.132.200/mysql/mysql5.6/
enabled=1
gpgcheck=0
EOF


[root@kf01 ~]# yum install –y mysql-community-server.x86_64

启动mysql然后登录MySQL（MySQL首次登录默认无需密码）
[root@kf01 ~]#systemctl start mysqld
[root@kf01 ~]# mysql -uroot

然后执行初始化配置和修改密码（按照提示操作即可。）
[root@kf01 ~]#mysql_secure_installation

为CM、HIVE、创建数据库，并授予相应的权限：

mysql -u root --password='Abcd.123' -e "create user 'cm'@'%' identified by 'cm@123'"
mysql -u root --password='Abcd.123' -e "create database cm default character set utf8"
mysql -u root --password='Abcd.123' -e "grant all privileges on cm.* to 'cm'@'%'"

mysql -u root --password='Abcd.123' -e "create user 'hive'@'%' identified by 'hive@123'"
mysql -u root --password='Abcd.123' -e "create database hive default character set utf8"
mysql -u root --password='Abcd.123' -e "grant all privileges on hive.* to 'hive'@'%'"

mysql -u root --password='Abcd.123' -e "create user 'amon'@'%' identified by 'amon@123'"
mysql -u root --password='Abcd.123' -e "create database amon default character set utf8"
mysql -u root --password='Abcd.123' -e "grant all privileges on amon.* to 'amon'@'%'"

mysql -u root --password='Abcd.123' -e "create user 'rman'@'%' identified by 'rman@123'"
mysql -u root --password='Abcd.123' -e "create database rman default character set utf8"
mysql -u root --password='Abcd.123' -e "grant all privileges on rman.* to 'rman'@'%'"

安装ClouderaManager

3.1.准备镜像
在主节点（kf01）上，配置本地安装镜像文件，通过yum安装管理控制台。

cat >/etc/yum.repos.d/cloudera-manager.repo << EOF
[cloudera-manager]
name = Cloudera Manager, Version 5.16.1
baseurl = http://192.168.132.200/cdh/cdh5.16.1/cm5/
gpgkey= http://192.168.132.200/cdh/cdh5.16.1/cm5/RPM-GPG-KEY-cloudera
gpgcheck = 1
EOF

刷新本地yum缓存，然后查询：
[root@kf01 ~]# yum repolist

[root@kf01 ~]#yum list|grep cloudera


3.2.安装Cloudera Manager管理控制台
[root@kf01 ~]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
3.3.配置数据库连接
配置mysql-connect连接工具：
获取jar包 wget http://192.168.132.200/mysql/mysql-connector-java.jar
mkdir -p /usr/share/java/
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/

配置CM控制台连接mysql数据库：
[root@kf01 ~]# /usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm cm@123
说明：第一个cm是数据库名称，第二cm是库用户，最后一个是库密码。
正常连接会提示连接成功，无任何报错。如有报错，根据提示修复，多数情况是，没有正确放置mysql-connect jar包和修改名称，或者是数据库无本地主机连接的权限等。
正常如图所示：

3.4.启动CM服务：
[root@kf01 ~]# /etc/init.d/cloudera-scm-server start
[root@kf01 ~]# /etc/init.d/cloudera-scm-agent start

查看启动日志，直到看到服务启动端口7180出现：
[root@kf01 ~]# tail –f /var/log/cloudera-scm-server/cloudera-scm-server.log

安装Hadoop集群

通过浏览器访问CM主节点的7180端口，进入集群配置页面（默认账号密码：admin/admin）

登录成功后

接受许可点击下一步继续后，可以看到所有启动Agent服务器的主机，选择所有主机，点击“继续”

4.配置本地镜像包 系统会自动识别我们存放在/opt/cloudare/parcel-repo下的离线包的版本，如不能识别到，请点击“更多选项”手动指定parcel-repo及parcels的路径

配置好后点击继续 配置JDK信息，已经配置过JDK直接跳过即可

继续继续>>>安装包分发

完成后，继续点击下一步 进入集群安装步骤

安装hadoop核心 根据集群规划，分配角色服务，尽量不要一个节点安装多个服务，服务会消耗一定的内存。

配置数据源

完成后继续下一步配置，集群加上配置，默认设置即可，系统会根据当前环境配置设置默认的参数；

等待一会

表示安装成功

注意：本文归作者所有，未经作者允许，不得转载