Hadoop环境的配置

  • 内容
  • 评论
  • 相关

Linux系统安装

在安装Linux系统之前,先来了解windows系统结构,windows系统一般是安装在C盘系统盘,同样Linux也有类似的系统盘(/根分区),Linux通常分区为(根分区/、swap分区),Linux系统以文件的存储方式,所有的文件都是存储在某个目录下的,类似于windows的文件夹。

对于文件系统的属性来说,windows文件系统类型一般是ntfs、fat32等,而Linux文件系统类型则为ext2、ext3、ext4等(文件系统:是操作系统用于明确磁盘或分区上的文件的方法和数据结构,文件系统由三部分组成:与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。)

安装Linux系统是每一个初学者的第一个门槛。在这个过程中间,最大的困惑莫过于给硬盘进行分区。虽然现在各种发行版本的Linux已经提供了友好的图形交互界面,但是很多人还是感觉无从下手。这其中的原因主要是不清楚Linux的分区规定。就好比如果我们了解了windows分区的规则,系统盘C、数据盘D等,就很好分区了。

在Linux中规定,每一个硬盘设备最多只能有4个主分区(其中包含扩展分区)构成,任何一个扩展分区都要占用一个主分区号码,也就是在一个硬盘中,主分区和扩展分区一共最多是4个。

下面正式来安装Linux系统,安装系统前需要准备如下软件:

VMware®Workstation12Pro

CentOS-6.5-x86_64-bin-DVD.iso

虚拟机安装前序配置

安装图解如下:

第一步,新建虚拟机如下图:

第二步,选择相关选项,如下图:

点击         下一步

第三步选择“稍后安装操作系统”,如下图:

第四步,选择客户机操作系统类型如下图:

第五步,修改目录文件和名称如下图:

一直默认下一步

第六步,设置虚拟机内存大小为 2G,最低不能小于 1G,如下图:

第七步,选择网卡类型,如下图:

第八步,选择磁盘类型,如下图:

第九步,设置虚拟机硬盘大小为 20G,最低不能小于 5G,如下图:

第十步,虚拟机新建完成,如下图:

虚拟机CentOS6.5安装

添加 ISO 镜像,如下图:

自此,虚拟机新建完成,接下来点击“启动此虚拟机”进行 Linux 系统安装, Linux 系统安

装图解如下:

第一步,进入安装界面,直接按 Enter 回车键即可。

第二步,光盘检测,选择 SKIP 跳过。

第三步,选择安装过程中的语言,初学者可以选择“简体中文”。(尽量使用英文)

第四步,选择初始化整个硬盘,清除所有数据。

第五步,修改主机名及网络

第六步,修改主机时间

第七步,设置root密码

第八步,选择分区方式并写入磁盘

第九步,系统安装包选择,这里选择“现在定制”

第十步,等待安装完成

安装完毕会提示“reboot”,直接回车即可。

第十一步,简单配置

修改配置文件

网络配置

使用命令重启网卡:service network restart

查看网卡IP地址命令:ifconfig

关闭防火墙

service iptables stop(关闭防火墙)

service iptables status(查看防火墙状态)

chkconfig iptables off(永久关闭防火墙)

关闭selinux

vi  /etc/selinux/config

添加  SELINUX=disabled

重启之后命令getenforce

显示 disabled

主机名更改

1.1 修改主机名

# vim /etc/sysconfig/network

HOSTNAME=master

1.2 修改主机名和IP的映射关系(hosts)

# vim /etc/hosts

例如添加:192.168.111.131 master

:wq!  #保存退出

reboot  #重启系统后重新显示

添加用户

useradd hadoop

passwd hadoop

rz安装

root权限下yum -y install lrzsz

安装&配置jdk(优先使用root权限)

卸载预安装jdk

rpm –qa | grep java                   查看预安装jdk有哪些

rpm -e  java-1.* –nodeps       卸载预安装jdk

rpm -e  tzdata-java-2013g-1.el6.noarch –nodeps

安装jdk

1.上传jdk的tar包并使用tar -zxvf jdk的tar包全名解压

2.配置环境变量

使用vi /etc/profile vi /etc/profile命令修改配置文件,添加如下内容

export JAVA_HOME=/appupload/jdk1.8.0_73

export JRE_HOME=$JAVA_HOME/jre

export CLASS_HOME=$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

使用source /etc/profile更新配置文件

使用java –version查看是否成功,成功如下图:

hadoop用户的互信

1.在hadoop的根目录下,使用命令ssh-keygen -t rsa

2.互信

使用命令ssh-copy-id 主机名

3.测试是否成功

配置hadoop-2.6.2

上传&解压

修改配置文件

1.进入到hadoop-2.6.2/etc/hadoop/目录下

2.修改hadoop-env.sh& yarn-env.sh

vim hadoop-env.sh

                   export JAVA_HOME=

vim yarn-env.sh       

                   JAVA_HOME=

    3.修改core-site.xml

    <!– 指定hdfs的地址 –>

    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://mypc:9000</value>

    </property>

    <!– 指定hadoop临时目录 –>

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/app/hadoop-2.6.2/tmp</value>

    </property>

    <!– 垃圾回收机制,这里设置保留一天,时间单位min –>

    <property>

    <name>fs.trash.interval</name>

    <value>1440</value>

    </property>

    

    4.修改hdfs-site.xml

    <!– 指定HDFS副本的数量 –>

    <property>

    <name>dfs.replication</name>

    <value>2</value>

    </property>

    <!– 指定namenode的目录 –>

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///home/hadoop/app/hadoop-2.6.2/dfs/name</value>

    </property>

    <!– 指定datanode的目录 –>

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:///home/hadoop/app/hadoop-2.6.2/dfs/data</value>

    </property>

    

    5.修改mapred-site.xml

    首先使用命令更改文件名mv mapred-site.xml.template mapred-site.xml

    <!– 指定mr运行在yarn上 –>

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

    

    6.修改yarn-site.xml

    <!– 指定YARN的老大(ResourceManager)的地址 –>

    <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>mypc</value>

    </property>

    <!– 指定YARN的服务器 –>

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    <!– 指定YARN的服务器 –>

    <property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    

    7.修改slaves

    

    8.配置hadoop的环境变量vi .bash_profile

    HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2

    PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    export HADOOP_HOME

    export PATH

    更新配置文件source .bash_profile

9.格式化namenode(是对namenode进行初始化)

              hdfs namenode -format (hadoop namenode -format)

10.启动hadoop

              先启动HDFS

              start-dfs.sh

              再启动YARN

              start-yarn.sh

11.验证是否启动成功

              使用jps命令验证

              NameNode

              Jps

              SecondaryNameNode

              NodeManager

              ResourceManager

              DataNode

              http://mypc:50070 (HDFS管理界面)

              http://mypc:8088 (MR管理界面)

安装zookeeper

上传解压

修改配置文件

1.进入zookeeper的配置文件
cd ……../conf

2.cp zoo_sample.cfg zoo.cfg复制备份配置文件

3.修改配置文件vim zoo.cfg

修改:dataDir=/………/tmp

         在最后添加:

         server.1=mypc:2888:3888

4.然后创建一个tmp文件夹

mkdir /………/tmp

5.再创建一个空文件

touch /………../tmp/myid

6.最后向该文件写入ID

echo 1 > /………./tmp/myid