大数据学习系列之四

引言

在大数目学习类别之一 ----- Hadoop意况搭建(单机) 成功的搭建了Hadoop的情况,在大额学习类别之二 ----- HBase情况搭建(单机)马到功成搭建了HBase的遭逢乃至相关应用介绍。本文主要教学怎样搭建Hadoop+Hive的情状。

一、情形准备

1,服务器选拔

地面虚构机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

说明:因为运用Ali云服务器每一趟都要重新配置,况且还要惦念互连网传输难题,于是温馨在本土便搭建了多个虚构机,方便文件的传输以致有关布置,劣势是本来卡的微型Computer就变得更卡了。具体科目和接纳在上二遍博文中。
地址: 。

2,配置采取

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)

3,下载地址

JDK:

Hadopp:

Hive

百度云盘:
链接: 密码:x51i

二、服务器的相干配置

在安插Hadoop+Hive此前,应该先做一下铺排。
做这几个布署为了方便,使用root权限。

1,更换主机名

率先退换主机名,指标是为着方便管理。
输入:

hostname 

查阅本机的称呼
下一场退换主机名叫master
输入:

hostnamectl set-hostname master

注:主机名称更换之后,要重启(reboot)才会收效。

2,做IP和主机名的投射

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
长机的ip 和 主机名称

192.168.238.128 master

3,关闭防火墙

关闭防火墙,方便访谈。
CentOS 7版本以下输入:
关门防火墙

service   iptables stop

CentOS 7 以上的本子输入:

systemctl stop firewalld.service

3,时间设置

翻看当前时刻
输入:

date

查看服务器时间是不是同样,若不平等则转移
退换时间命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop安装和计划

Hadoop的切切实实配置在大数额学习种类之一 ----- Hadoop境况搭建(单机) 中介绍得很详细了。所以本文就大致介绍一下。
注:具体配置以温馨的为准。

1,情状变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

安顿文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,配置文件改动

先切换成 /home/hadoop/hadoop2.8/etc/hadoop/ 索引下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为协调的JDK路线

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

假设未有 mapred-site.xml 该公文,就复制mapred-site.xml.template文件一视同仁命名叫mapred-site.xml。
输入:

vim mapred-site.xml

修改这些新建的mapred-site.xml文件,在节点内踏入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3,Hadoop启动

初步在此以前供给先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换来/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

发轫成功后,输入jsp查看是或不是运转成功
在浏览器输入 ip+8088 和ip +50070 分界面查看是不是能采访
能准确访谈则运行成功

四、Mysql安装

因为Hive的暗中同意元数据是Mysql,所以先要安装Mysql。
Mysql有三种安装格局,可活动选用。

1,yum安装

首先查看mysql 是或不是曾经设置
输入:

rpm -qa | grep mysql   

要是已经设置,想删除的话
输入:
平凡删除命令:

rpm -e mysql

武力删除命令:

rpm -e --nodeps mysql    

借助于文件也会去除

安装mysql
输入:

yum list mysql-server  

假使未有,则透过wget命令下载该包
输入:

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm   

下载成功现在,再输入指令安装

yum install mysql-server

在装置进度中相见选拔输入y就行了
图片 1
图片 2

设置成功后,输入 service mysqld start 运营服务
输入:
mysqladmin -u root -p password '123456'
来安装密码
输入之后直接回车(私下认可是未有密码的)
接下来再输入
mysql -u root -p
图片 3
通过授权法改造长途连接权限
输入: grant all privileges on . to 'root'@'%' identified by '123456';
注:第2个’root’是顾客名,第四个’%’是具备的ip都能够远程访问,第多个’123456’表示 客户密码 假设有时用 就关门掉
输入:flush privileges; //刷新

在防火墙关闭之后,使用SQLYog之类的工具测量试验是或不是能精确连接

图片 4

2,编写翻译包安装

Mysql文件希图

将下载好的mysql安装包上传到linux服务器
解压mysql解压包,并活动到/usr/local目录下,重命名字为mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local
cd /usr/local
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

图片 5

注: mysql暗中同意的门道是正是/usr/local/mysql ,要是设置的地点转移,供给转移相应的布置文件。

安装mysql

切换到mysql的目录 /usr/local/mysql
输入:

 ./scripts/mysql_install_db --user=mysql

图片 6
中标安装mysql之后,输入
service mysql start 或 /etc/init.d/mysql start

图片 7
翻看是不是运维成功
输入:

 ps -ef|grep mysql

切换到 /usr/local/mysql/bin 目录下
设置密码
mysqladmin -u root password '123456'入mysql
输入:

mysql -u root -p

安装远程连接权限
输入:
grant all privileges on . to 'root'@'%' identified by '123456';
下一场输入:
flush privileges;

评释: 第一个’root’是顾客名,第一个’%’是负有的ip都足以长距离访问,第八个’123456’表示顾客密码 假若有的时候用就关闭掉。

应用本地连接工具连接测量检验

图片 8

五、Hive景况设置和布置

1,文件图谋

将下载下来的Hive 的配备文件实行解压
在linux上输入:

 tar -xvf  apache-hive-2.1.1-bin.tar.gz

接下来移动到/opt/hive 里面,将文件夹重命名叫 hive2.1
输入

mv  apache-hive-2.1.1-bin  /opt/hive
mv apache-hive-2.1.1-bin hive2.1

2,情状安插

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

图片 9
注:实际铺排以和谐的为准!
输入:

source  /etc/profile

使配置生效

3,配置改变

5.3.1新建文件夹

在修改配置文件在此之前,必要先在root目录下创建部分文书夹。

mkdir /root/hive
mkdir /root/hive/warehouse

新建完该文件之后,需求让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。
施行命令:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

给刚刚新建的目录赋予读写权限,实施命令:

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 

自己争论那八个目录是不是成功创立
输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

图片 10

能够看见曾经打响创建

5.3.2 修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份,一视同仁命名叫hive-site.xml
接下来编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

下一场将配备文件中装有的

${system:java.io.tmpdir}

变动为 /opt/hive/tmp (若无该公文则创建),
并将此文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
转移以前的:
图片 11
改换之后:
图片 12

配置图:
图片 13

注: 由于hive-site.xml 文件中的配置过多,能够经过FTP将它下载下来实行编写制定。也得以直接配置自身所需的,别的的能够去除。 MySQL的总是地址中的master是主机的别称,能够换成ip。

5.3.3 修改 hive-env.sh

修改hive-env.sh 文件,未有就复制 hive-env.sh.template ,一碗水端平命名称为hive-env.sh
图片 14
在那么些布局文件中增加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

图片 15

5.3.4 增加 数据驱动包

由于Hive 私下认可自带的数据库是采取mysql,所以那块便是用mysql
将mysql 的驱动包 上传来 /opt/hive/hive2.1/lib

图片 16

六、Hive Shell 测试

在成功运维Hadoop之后
切换到Hive目录下
输入:

cd /opt/hive/hive2.1/bin

首先早先化数据库
开端化的时候注意要将mysql运营
输入:

schematool  -initSchema -dbType mysql 

图片 17

施行成功之后,能够看来hive数据库和一批表已经创办成功了

图片 18

切换到 cd /opt/hive/hive2.1/bin
进去hive (确认保障hadoop以至成功运行)
输入:

hive

图片 19

进入hive 之后
做一些轻松易行的操作
新建三个库,然后在建一张表
基本操作和经常的关系型数据库差不离
创建库:

create database db_hiveTest;

创建表:

create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  't';

图片 20

说明: terminated by 't' 代表文本分隔符要使用Tab,行与行直接无法有空格。

加载数据
新开辟贰个窗口
因为hive 不帮衬写,所以增加数据采纳load加载文本获取。
新建叁个文书

touch  /opt/hive/student.txt

编排该文本增加数据
输入:

vim /opt/hive/student.txt

丰裕数码:
高级中学级的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu

图片 21
证明: 文本能够在Windows上边新建,然后通过ftp上传到linux中,要求静心文本的格式为unix 格式。

切换到hive shell
加载数据
输入:

load data local inpath '/opt/hive/student.txt'  into table db_hivetest.student;

下一场查询该数量
输入:

select * from db_hiveTest.student;

图片 22

本文的Hadoop+Hive的陈设就到此结束了,多谢阅读!

其它

越来越多的hive使用请参考官方文书档案

条件搭建参谋:

版权评释:
作者:虚无境
今日头条出处:
CSDN出处:    
私家博客出处:
原创不易,转发请注脚出处,多谢!

本文由银河网址发布于银河网址,转载请注明出处:大数据学习系列之四

您可能还会对下面的文章感兴趣: