DKhadoop环境安装配置步骤详解

  • 时间:
  • 浏览:0
  • 来源:大发5分排列5_极速5分排列3

命令:

scp  -r  /etc/hosts  192.168.1.42:/etc

cd /root/DKHPlantform/autossh

在上一篇的分享文章中我是给你们分享了运行部署hadoop的但会 安装准备工作,这篇接上一篇继续为你们分享但会 此人 的学习经验总结。我学习用的是大快发行版DKHadoop,全都所有的经验分享完全不会以DKHadoop为基础,这里要先说明一下。此人 真是DKHadoop对新手还与非 很友好的了,新手你们们可不都能能大快搜索网站下载有有另三个三节点的dkhadoop玩一下看看。

cd /root/

步骤:

2)执行前一天查看一下两台mysql的数据表与非 存在,从节点查看执行:

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键但会 按一下Shift+:键,输入wq 后回车就可不都能能保存输入q回车则是放弃保存退出.

步骤:

命令

mysql -uroot -p123456 < { 此处为sql文件,主目录下文件: dkh.sql}

命令:  

命令:

./offIptables.sh

1)修改本机hosts文件,写入对应关系

命令:

ssh前往第二台机器(从节点)并执行:

./sshpass.sh 密码

进入编辑模式后,按照规则写入主机与ip的对应关系(主机名称dk41是此人 命名的,如下图)例:

命令:                                                                                                                                                                                                                                                                                                                                           

3)执行成功前一天执行热备份(两台机器上完全不会执行,有有另三个ip互换,41上写42,42上写41,密码是Mysql的密码为:123456。平台内可能设定好,请勿修改

 

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键但会 按一下Shift+:键,输入wq,后回车就可不都能能保存输入q回车则是放弃保存退出.

2)主节点执行: 

1.修改权限

a)执行sshpass.sh的脚本的过不会去读sshhostssshslaves这有有另三个文件,替换sshpass.sh中的master和slave文件。                                                            



vi /etc/hosts

b)防止访问服务器时但会 服务被拦截,需关闭防火墙。

192.168.1.43    dk43

修改文件sshhosts,输入完全机器的主机名,每行有有另三个主机名(如下图)

./mysql.sh 1

3.安装双机热备份MySQL

scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/

按照提示多次输入yes密码(如下图)

vi /root/DKHPlantform/autossh/sshhosts

 

source /etc/profile

通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键但会 按一下Shift+:键,输入wq,后回车就可不都能能保存输入q回车则是放弃保存退出.

192.168.1.42    dk42



2. 搭建hadoop集群设置SSH免密登录

scp  -r  /etc/hosts  192.168.1.43:/etc

命令:

./sync.sh 192.168.1.xxx(另一台mysql地址) root 123456

修改主机名  vi /etc/sysconfig/network  reboot

 

命令:

cd /root/

vi /root/DKHPlantform/autossh/sshslaves

cd /root/mysqlInst/

命令:

步骤:在准备工作中拷贝安装DKHPlantform.zip主节点/root/目录后,解压并修改文件权限(文件所有者可读可写可执行,与文件所有者属于有有另三个用户组的但会 用户可读可执行,但会 用户组可读可执行)。

cd /root/DKHPlantform/mysqlInst/

    192.168.1.41    dk41

b)执行insExpect.sh,系统会装有有另三个rpm包,在执行sshpass.sh的过程中不要再再输密码和yes,脚本自动继续执行

chmod -R 755 DKHPlantform

./changeMaster.sh                                                   

命令:

./mysql.sh 2

闲话到此前一天始于,本篇重点分类整理的是服务器操作系统的配置问提,写的可能会有点儿长,需用但会 点耐心看的哦!

修改文件sshslaves,写入除主机名之外的所有机器名(如下图)

按照提示输入(如下图)

123456集群密码,根据此人 实际情况表输入

命令

c)执行changeMaster.sh脚本为了清空/root/.ssh目录下的所有文件(在/root/DKHPlantform/autossh目录下),防止在执行sshpass.sh脚本时产生的新密钥时与旧的密钥存在冲突

如:mysql -uroot -p123456 </root/DKHPlantform/dkh.sql

unzip DKHPlantform.zip

4.创建数据库

3)执行集群免SSH

1)从主节点分类分类整理mysql安装目录第二节点

./insExpect.sh

命令:

2)执行集群之间免密前的准备工作   

mysql  -uroot  -p123456

show databases;

命令:

命令

编辑前一天,保存退出。把对应关系拷到但会 两台机器上。

 步骤:



 

命令:

1)导入MySQL数据表,只在主节点执行:

cd /root/DKHPlantform/autossh

目的:存放Hive的元数据

a)执行SSH: