舞台搭建 大数据环境搭建基础 大数据环境搭建

大数据环境搭建
一.前置工作
1.学习linux系统的基本操作

2.三台centos6.4虚拟机，关闭防火墙，三台主机分别为
Master 192.168.47.181
Slave1 192.168.47.182
Slave2 192.168.47.183
三台主机共同的用户为hadoop,密码为hadoop
hadoop用户的目录为/home/hadoop/,下文配置中会频现该目录。

3.配置Master的hadoop用户与另外两台主机间ssh无密码登陆

4.实用工具软件
(1)通过ssh登陆linux的客户端工具putty
(2)windows下运行，可向linux 进行文件拷贝等操作的WinSCP

二.工具准备

hadoop2.5.2源文件包，因为64位系统下需对其进行编译才能产生适配系统的本地库
hadoop-2.5.2-src.tar.gz
编译hadoop2.5.2用到的工具
apache-ant-1.9.5-bin.tar.gz
apache-maven-3.2.5-bin.tar.gz
protobuf-2.5.0.tar.gz
jdk-7u79-linux-x64.rpm
hbase使用 hbase-1.0.1.1-bin.tar.gz

三.安装及配置过程
说明：
1、安装及配置java环境
1）运行 rpm -ivh jdk-7u79-linux-x64.rpm
2）默认安装路径为 /usr/java/jdk1.7.0_79
3) 配置java 环境变量
（1）vi /etc/profile
添加如下信息：
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=/usr/java/jdk1.7.0_79/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
（2):wq 保存退出

2、安装和配置Maven

(1)解压apache-maven-3.2.5-bin.tar.gz至 /usr/apache-maven-3.2.5
vi /etc/profile
(2)添加如下信息：
M2_HOME=/usr/apache-maven-3.2.5
PATH=$PATH:$M2_HOME/bin
export M2_HOME PATH
(3)测试安装是否成功
mvn -version

3、安装和配置ant

(1)解压apache-ant-1.9.5-bin.tar.gz至/usr/apache-ant-1.9.5
vi /etc/profile
(2)添加如下信息：
ANT_HOME=/usr/apache-ant-1.9.5
PATH=$PATH:$ANT_HOME/bin
export ANT_HOME PATH
(3)测试安装是否成功
ant -version

4.安装编译工具

yum groupinstall "Development Tools"
yum install cmake
yum install openssl-devel
yum install ncurses-devel

5.安装protobuf

(1)解压protobuf-2.5.0.tar.gz
(2)进入解压后的目录
执行
./configure
(3)检查通过后进行编译且安装
make && make install
(4)安装成功后执行
protoc --version

6.编译并配置hadoop2.5.2

1)编译hadoop2.5.2
(1)解压hadoop-2.5.2-src.tar.gz
(2)进入解压后的文件夹 hadoop-2.5.2-src
(3)执行如下编译命令
mvn clean package -Pdist -Pnative -DskipTests -Dtar
(4)如果编译不成功报如下错误：
Signal is internal proprietary API and may be removed in a future release,那么
则在
<dependency>
<groupId>org.mockito</groupId>
<artifactId>mockito-all</artifactId>
<scope>test</scope>
</dependency>
与
<dependency>

<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>
之间再加一段
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>
修改过后则可通过编译，编译后可部署的hadoop文件夹在hadoop-2.5.2-src/dist/target目录下为hadoop-2.5.2，将其拷贝到想要部署的位置，在其下执行如下命令
mkdir tmp
mkdir hdf/data
mkdir hdf/name
以上三个文件夹编译后并不存在，需手动创建，创建完毕，在配置文件中进行配置。

2）配置hadoop2.5.2

（1）core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:8020</value>
<description>The name of the default file system</description>
<final>true</final>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.5.2/tmp</value>
</property>
</configuration>

(2)hdfs-site.xml

<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.5.2/hdf/data</value>
<final>true</final>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.5.2/hdf/name</value>
<final>true</final>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

（3）mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value> yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

(4)yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.shuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>Master:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:8088</value>
</property>
</configuration>

(5)在hadoop-env.sh中添加
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
export JAVA_HOME

=/usr/java/jdk1.7.0_79

（6）在yarn-env.sh中添加
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
export JAVA_HOME=/usr/java/jdk1.7.0_79

(7)修改slaves(为集群中所有主机的名称)
Master
Slave1
Slave2

(8)vi /etc/profile
添加如下信息：
HADOOP_HOME=/home/hadoop/hadoop-2.5.2
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
HADOOP_LOG_DIR=$HADOOP_HOME/logs
YARN_LOG_DIR=$HADOOP_LOG_DIR
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_HOME PATH HADOOP_LOG_DIR YARN_LOG_DIR HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS JAVA_LIBRARY_PATH

重要：以上操作都完成后，让hadoop用户和hadoop用户组具有操作/home/hadoop/hadoop-2.5.2的权限
chown -R hadoop:hadoop /home/hadoop/hadoop-2.5.2

之后，切换到hadoop用户：
su hadoop

(9)将/home/hadoop/hadoop-2.5.2文件夹拷贝到其它两台主机
scp -r /home/hadoop/hadoop-2.5.2 hadoop@Slave1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.5.2 hadoop@Slave2:/home/hadoop/

(10)格式化集群,在Master节点上执行如下命令：
hadoop namenode -format

(11)启动集群，在Master节点上执行如下命令：
start-all.sh

(12) 通过浏览器查看hadoop是否安装成功：
输入： http://Master:50070

7.安装并配置hbase1.0.1.1

1）解压hbase-1.0.1.1-bin.tar.gz
tar -zxvf hbase-1.0.1.1-bin.tar.gz

2)修改环境变量 vi /etc/profile 添加
export HBASE_HOME=/home/hadoop/hbase-1.0.1.1
export PATH=$HBASE_HOME/bin:$PATH

爱华网本文地址 » http://www.aihuau.com/a/379251/536391017924.html