当前位置:首页 > 大数据运维 > 正文内容

CDH安装(5.15.0)

zhangquanyu4年前 (2020-10-29)大数据运维1845


CDH安装
【服务器准备】
操作系统:CentOS 7.2
IP地址
角色
192.168.72.130
MasterNode, Operation scripts,  Airflow
192.168.72.131
ComputeNode1
192.168.72.132
ComputeNode2
192.168.72.133
Datamart, Frontend(fx-global, fx-usercenter, fx-explorer)
192.168.72.134
Index
192.168.72.135
MSSQL TreeDB, rowdata
-     安装包
yum install -y ntpdate lszrz wget net-tools gcc
-     关闭防火墙,selinux
systemctl stop firewalld.service
systemctl disable firewalld.service
-     添加hosts
192.168.72.130  E-MasterNode
192.168.72.131  E-ComputeNode1
192.168.72.132  E-ComputeNode2
-     添加rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

        echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

        echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

-     修改sysctl.conf
vm.    swappiness=10
-     修改/etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera/

【安装Cloudera】
-     MasterNode -> ComputeNode 免密登陆
[root@E-MasterNode ~]# ssh-keygen
[root@E-MasterNode ~]# ssh-copy-id 192.168.17.131
[root@E-MasterNode ~]# ssh-copy-id 192.168.17.132
-     改源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

-     MasterNode 下载Cloudera


 mkdir /usr/share/java

cp mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

cp -r /data/tools/jdk1.8.0_171 /usr/java/


yum -y localinstall cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm


vim /etc/cloudera-scm-agent/config.ini

server_host=MasterNode的ip地址

/etc/init.d/cloudera-scm-server-db start

/etc/init.d/cloudera-scm-server start

/etc/init.d/cloudera-scm-agent start


-     Node机器上分别安装

 yum -y localinstall cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

vim /etc/cloudera-scm-agent/config.ini

server_host=MasterNode的ip地址

/etc/init.d/cloudera-scm-agent start

-     访问网页,继续安装
URL:http://192.168.72.130:7180/
用户名:admin
密码:admin

-     在安装parcel的时候,由于要下载一个1.6G大小的数据包,所以很容易卡主,所以可以先将以下包下载好,拷贝到MasterNode对应目录,然后在页面选择手工安装


ll /data/cloudera/parcel-repo/


image.png


chmod 777 /data/cloudera/ -R



-     在CDH上操作

image.png


image.png

image.png




-     


为集群安装服务

-     相关服务
service cloudera-scm-agent restart     #端口7182
service cloudera-scm-server restart    #端口7180
systemctl start ntpd
systemctl enable ntpd.service
#crontab
systemctl stop ntpd && /usr/sbin/ntpdate 202.120.2.101 && /sbin/hwclock --systohc && systemctl start ntpd
-     HDFS操作
su - hdfs
hdfs fsck /                  #检查分区
hadoop fs -setrep -R 2 /     #解决HDFS副本不足的块
hadoop fs -chmod 777 /user   #权限不足
-     Hue操作
Web UI: http://192.168.72.131:8888 #admin/admin

扫描二维码推送至手机访问。

版权声明:本文由张权予博客发布,如需转载请注明出处。

本文链接:https://zhangquanyu.com/?id=11

分享给朋友:
返回列表

没有更早的文章了...

下一篇:HDP2.4安装

“CDH安装(5.15.0)” 的相关文章

HDP2.4安装

HDP2.4安装

安装Ambari# 安装ambari-server  yum install ambari-server    # 创建ambari数据库,并将ambari数据schema通过source命令导入到M...

HDP升级版本:2.6.x升级到3.1.5

HDP升级版本:2.6.x升级到3.1.5

一、前期准备 注意:hdp3.1不支持以下操作系统: RHEL/CentOS/OEL 6, SLES 11, and Debian 7 一、开始前准备 1、确保群集中的所有服务都在运行 2、运行服务检查,确保能成功执行3、清楚所有报警或了解为什么生成原因,必要...

Hbase性能优化

Hbase性能优化

Hbase优化 Region 相关参数: hbase.hregion.max.filesize=50G默认 10G,Region 中任意 HStore 所有文件大小总和大于该值就会进行分裂。建议生产设置为 50G左右。 BlockCache 相关参数: hba...