Hive整合HBase图文详解银河网址

引言

在上一篇 大数量学习体系之四 ----- Hadoop+Hive景况搭建图像和文字详解(单机) 和在此之前的大数目学习种类之二 ----- HBase情状搭建(单机) 中中标搭建了Hive和HBase的条件,并拓宽了对应的测验。本文首要讲的是哪些将Hive和HBase进行理并了结合。

Hive和HBase的通讯意图

Hive与HBase整合的贯彻是选择两个本身对外的API接口互相通讯来实现的,其实际专业交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来落到实处,通讯原理如下图所示。
银河网址 1

Hive整合HBase后的行使处境:

(一)通过Hive把多少加载到HBase中,数据源能够是文件也得以是Hive中的表。
(二)通过结合,让HBase帮衬JOIN、GROUP等SQL查询语法。
(三)通过结合,不唯有可形成HBase的数额实时查询,也得以运用Hive查询HBase中的数据产生复杂的多寡剖判。

一、情状选取

1,服务器选取

本地虚构机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

2,配置选取

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

3,下载地址

官方网站地址
JDK:

Hadopp:

Hive

HBase:

百度云盘
链接: 密码:uycu

二、服务器的连带计划

在安顿Hadoop+Hive+HBase此前,应该先做一下布局。
做那些配置为了有助于,使用root权限。

1,退换主机名

先是改动主机名,指标是为着方便管理。
输入:

hostname 

翻开本机的名称
然后更动主机名字为master
输入:

hostnamectl set-hostname master

注:主机名称改成之后,要重启(reboot)才会生效。

2,做IP和主机名的映射

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

3,关闭防火墙

关门防火墙,方便访问。
CentOS 7版本以下输入:
闭馆防火墙

service   iptables stop

CentOS 7 以上的本子输入:

systemctl stop firewalld.service

4,时间设置

翻看当前岁月
输入:

date

查看服务器时间是还是不是一律,若不平等则退换
转移时间命令

date -s ‘MMDDhhmmYYYY.ss’

5,全部的条件计划

/etc/profile 的完整布局

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

银河网址 2

注:具体的安插以和煦的为准,未有的不用配置。

三、Hadoop的遇到安排

Hadoop的实际布署在大数量学习种类之一 ----- Hadoop景况搭建(单机) 中介绍得很详细了。所以本文就大致介绍一下。
注:具体安插以协和的为准。

1,碰着变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

布局文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,配置文件退换

先切换来 /home/hadoop/hadoop2.8/etc/hadoop/ 索引下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为友好的JDK路线

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

比如没有 mapred-site.xml 该公文,就复制mapred-site.xml.template文件仁同一视命名字为mapred-site.xml。
输入:

vim mapred-site.xml

修改这么些新建的mapred-site.xml文件,在节点内步入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3,Hadoop启动

发轫从前须求先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换来/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

发轫成功后,输入jsp查看是不是运行成功
在浏览器输入 ip+8088 和ip +50070 分界面查看是或不是能访谈
能正确访谈则运维成功

四、Hive的情状陈设

Hive意况的切实安插在笔者的那篇大数量学习连串之四 ----- Hadoop+Hive遭受搭建图像和文字详解(单机) 以至介绍得很详细了。本篇就大致介绍下。

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份,一视同仁命名字为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

接下来将布置文件中持有的

${system:java.io.tmpdir}

退换为 /opt/hive/tmp (若无该文件则成立),
并将此文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
更换从前的:
银河网址 3
转移之后:
银河网址 4

配置图:
银河网址 5

注: 由于hive-site.xml 文件中的配置过多,能够经过FTP将它下载下来进行编辑。也足以一向配备本身所需的,别的的能够去除。 MySQL的连天地址中的master是主机的小名,能够换到ip。

修改 hive-env.sh

修改hive-env.sh 文件,未有就复制 hive-env.sh.template ,同等对待命名称为hive-env.sh

在这么些布局文件中增多

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

增添 数据驱动包

鉴于Hive 私下认可自带的数据库是选择mysql,所以那块就是用mysql
将mysql 的驱动包 上盛传 /opt/hive/hive2.1/lib

五、HBase的条件布置

HBase碰着的现实配置在自己的那篇大数量学习种类之二 ----- HBase蒙受搭建(单机) 以致介绍得很详细了。本篇就大概介绍下。

修改 hbase-env.sh

编纂 hbase-env.sh 文件,增添以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

证实:配置的门路以协调的为准。HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。

修改 hbase-site.xml

编排hbase-site.xml 文件,在抬高如下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

表达:hbase.rootdir:这几个目录是region server的共享目录,用来长久化Hbase 。hbase.cluster.distributed :Hbase的运作方式。false是单机方式,true是布满式形式。若为false,Hbase和Zookeeper会运营在同叁个JVM里面。

六、Hive整合HBase的条件计划乃至测量检验

1,情形安排

因为Hive与HBase整合的兑现是运用两个本人对外的API接口彼此通讯来成功的,其切实做事交由Hive的lib目录中的hive-hbase-handler-.jar工具类来贯彻。所以只供给将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就足以了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

银河网址 6
注: 若是在hive整合hbase中,出现版本之类的主题素材,那么以hbase的本子为主,将hbase中的jar包覆盖hive的jar包。

2,hive和hbase测试

在开展测量试验的时候,确定保障hadoop、hbase、hive环境已经成功搭建好,而且都职业有成运营了。
开采xshell的三个指令窗口
二个步向hive,一个步向hbase

6.2.1在hive中开创映射hbase的表

在hive中创立二个映射hbase的表,为了便于,设置两侧的表名都为t_student,存款和储蓄的表也是那些。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student 是hive表中的名称,第叁个t_student是概念在hbase的table名称 ,第多少个t_student 是积存数据表的称谓("hbase.mapred.output.outputtable" = "t_student"这些能够不要,表数据就存款和储蓄在其次个表中了) 。
(id int,name string) 这几个是hive表结构。假诺要加进字段,就以这种格式扩展。倘若要扩大字段的笺注,那么在字段前边增添comment ‘你要陈说的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment ‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这些是钦点的存款和储蓄器。
hbase.columns.mapping 是概念在hbase的列族。
比方:st1就是列族,name便是列。在hive中创制表t_student,这么些表包蕴七个字段(int型的id和string型的name)。 映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

表成功创设之后
在hive、hbase分别中查看表和表结构
hive中输入

show tables;
describe t_student;

hbase输入:

list
describe ‘t_student’

银河网址 7

银河网址 8
能够看来表已经成功的创造了

6.2.2数量同步测量检验

进入hbase之后
在t_student中增多两条数据 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

银河网址 9

下一场切换来hive中
查询该表
输入:

select * from t_student;

银河网址 10

下一场在hive中除去该表
注:因为做测验要看结果,所以将表删除了。假诺同学们要做测验的话,是尚未须要删除该表的,因为在末端还也许会选用该表。

下一场查看hive和hbase中的表是还是不是删除了
输入:

drop table t_student;

银河网址 11

银河网址 12
通过那些足以见到hive和hbase之间的多少成功同步!

6.2.3涉及查询测量检验

hive外界表测量试验

先在hbase中国建工业总会公司一张t_student_info表,增多七个列族
下一场查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

银河网址 13

接下来在hive中开创外界表
证实:成立外界表要使用EXTE安德拉NAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

银河网址 14

然后在t_student_info 中添扩充少

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

银河网址 15

下一场在hive中询问该表
输入:

select * from t_student_info;

银河网址 16

询问到多少之后,然后将t_student 和t_student_info进行关联合检查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

银河网址 17
表明:通过关系查询,能够得出表之间是能够提到查询的。但是分明看见hive 使用默许的mapreduce 作为引擎是何其的慢。。。

此外注脚:
是因为投机的虚构机配置实在太渣,纵然调大reduce内部存款和储蓄器,限制每一个reduce管理的数据量,如故那多少个,最终不能够使用集团的测量试验服务开展测验。
在询问一张表的时候,hive未有运用引擎,因而相对十分的快,假使是拓展了事关查询之类的,就能够使用引擎,由于hive暗许的引擎是mr,所以会比相当慢,也和安排有确定关联,hive2.x以往官方就不建议利用mr了。

本文到此停止,多谢阅读!
版权注明:
作者:虚无境
天涯论坛出处:
CSDN出处:    
个体博客出处:
原创不易,转发请标记出处,多谢!

本文由银河网址发布于银河网址,转载请注明出处:Hive整合HBase图文详解银河网址

您可能还会对下面的文章感兴趣: