HBase环境搭建(单机)HBase环境搭建(单机)

引言

在直达同首 特别数目上系列的四 —–
Hadoop+Hive环境多建筑图文详解(单机)
和之前的老大数额上系列的二 —–
HBase环境搭建(单机)
中成搭建了Hive和HBase的条件,并拓展了相应的测试。本文主要讲的凡什么拿Hive和HBase进行重组。

引言

当达成同首 大数额上系列的四 —–
Hadoop+Hive环境多建筑图文详解(单机)
和之前的死数额上系列的二 —–
HBase环境搭建(单机)
中成搭建了Hive和HBase的条件,并拓展了相应的测试。本文主要出口的凡哪些拿Hive和HBase进行重组。

Hive和HBase的通信意图

Hive与HBase整合的落实是运两者本身对外的API接口互相通信来好的,其切实工作暨由Hive的lib目录中的hive-hbase-handler-*.jar工具类来贯彻,通信原理如下图所示。
图片 1

Hive和HBase的通信意图

Hive与HBase整合的贯彻是运用两者本身对外的API接口互相通信来形成的,其现实做事至由Hive的lib目录中之hive-hbase-handler-*.jar工具类来落实,通信原理如下图所示。
图片 2

Hive整合HBase后的施用状况:

(一)通过Hive把多少加载到HBase中,数据源可以是文件呢得是Hive中的说明。
(二)通过结合,让HBase支持JOIN、GROUP等SQL查询语法。
(三)通过做,不仅只是形成HBase的数码实时查询,也可以使用Hive查询HBase中之多少好复杂的多寡解析。

Hive整合HBase后的用状况:

(一)通过Hive把多少加载到HBase中,数据源可以是文件呢得是Hive中的阐明。
(二)通过结合,让HBase支持JOIN、GROUP等SQL查询语法。
(三)通过结合,不仅只是形成HBase的多少实时查询,也可以动用Hive查询HBase中之数据好复杂的数量解析。

平等、环境选择

平、环境选择

1,服务器选择

地方虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

1,服务器选择

地面虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

3,下载地址

官网地址
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
HBase:
http://mirror.bit.edu.cn/apache/hbase/

百度云盘
链接:https://pan.baidu.com/s/1jIemIDC 密码:uycu

3,下载地址

官网地址
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
HBase:
http://mirror.bit.edu.cn/apache/hbase/

百度云盘
链接:https://pan.baidu.com/s/1jIemIDC 密码:uycu

亚、服务器的连带配置

每当安排Hadoop+Hive+HBase之前,应该先举行一下部署。
召开这些安排为好,使用root权限。

亚、服务器的连锁配置

在部署Hadoop+Hive+HBase之前,应该先开一下布局。
举行这些安排为有利于,使用root权限。

1,更改主机名

先是更改主机名,目的是为方便管理。
输入:

hostname 

查看本机的名目
然后改成主机名也master
输入:

hostnamectl set-hostname master

流动:主机名称改成后,要再次开(reboot)才见面收效。

1,更改主机名

首先更改主机名,目的是为方便管理。
输入:

hostname 

翻开本机的名号
然后改变主机名吧master
输入:

hostnamectl set-hostname master

流淌:主机名称改成后,要重新开(reboot)才见面收效。

2,做IP和主机名的照

改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
长机的ip 和 主机名称

192.168.238.128 master

2,做IP和主机名之映照

修改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
主机的ip 和 主机名称

192.168.238.128 master

3,关闭防火墙

关闭防火墙,方便访问。
CentOS 7版本以下输入:
关防火墙

service   iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service

3,关闭防火墙

关防火墙,方便访问。
CentOS 7版本以下输入:
关闭防火墙

service   iptables stop

CentOS 7 以上的本输入:

systemctl stop firewalld.service

4,时间设置

翻开时工夫
输入:

date

翻看服务器时间是否一律,若不均等则变动
改变时间命令

date -s ‘MMDDhhmmYYYY.ss’

4,时间设置

翻时时
输入:

date

翻开服务器时间是否一致,若不等同则变动
转时间命令

date -s ‘MMDDhhmmYYYY.ss’

5,整体的条件布置

/etc/profile 的共同体部署

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

图片 3

流淌:具体的布局为协调之吧遵循,没有底决不配置。

5,整体的条件布置

/etc/profile 的整安排

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

图片 4

流动:具体的部署为温馨之呢按照,没有的决不配置。

其三、Hadoop的环境布置

Hadoop的切实安排当不行数额上系列之一 —–
Hadoop环境搭建(单机)
中介绍得甚详细了。所以本文就横介绍一下。
流动:具体配置为友好之也罢依照。

老三、Hadoop的条件布置

Hadoop的具体配置当雅数额上系列之一 —–
Hadoop环境搭建(单机)
中介绍得死去活来详细了。所以本文就盖介绍一下。
流动:具体部署为相好之为本。

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

安排文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

部署文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2,配置文件更改

预先切换至 /home/hadoop/hadoop2.8/etc/hadoop/ 目下

2,配置文件更改

先行切换至 /home/hadoop/hadoop2.8/etc/hadoop/ 目下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改也团结的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改也温馨之JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

设没 mapred-site.xml
该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

改者新建的mapred-site.xml文件,在节点内加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3.2.4 修改mapred-site.xml

若果无 mapred-site.xml
该公文,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改是新建的mapred-site.xml文件,在节点内参加配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3,Hadoop启动

开行前用先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启航成功后,输入jsp查看是否启动成功
当浏览器输入 ip+8088 和ip +50070 界面查看是否会顾
能够科学访问则启动成功

3,Hadoop启动

起步前用先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

开行成功后,输入jsp查看是否启动成功
以浏览器输入 ip+8088 和ip +50070 界面查看是否能顾
能科学访问则启动成功

季、Hive的条件布置

Hive环境的求实部署于自身之及时首不行数目上系列的四 —–
Hadoop+Hive环境多建筑图文详解(单机)
以及介绍得够呛详细了。本篇就横介绍下。

季、Hive的环境布置

Hive环境之有血有肉部署在自的及时篇雅数量上系列之四 —–
Hadoop+Hive环境多建筑图文详解(单机)
以及介绍得死详细了。本篇就盖介绍下。

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一客,并重命名为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

下一场拿安排文件中有着的

${system:java.io.tmpdir}

改变为 /opt/hive/tmp (如果没拖欠公文则开创),
并将以此文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
转之前的:
图片 5
反后:
图片 6

配置图:
图片 7

流淌: 由于hive-site.xml
文件被之配置了多,可以透过FTP将它下载下来进行编制。也堪直接配置好所急需的,其他的好去除。
MySQL的连接地址被之master是主机的号,可以变换成ip。

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
以hive-default.xml.template 拷贝一卖,并重命名为hive-site.xml
下一场编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

接下来以部署文件被享有的

${system:java.io.tmpdir}

变动为 /opt/hive/tmp (如果无拖欠公文则创造),
连拿这文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
更改之前的:
图片 8
改变后:
图片 9

配置图:
图片 10

横流: 由于hive-site.xml
文件被的部署了多,可以透过FTP将其下载下来进行编辑。也可一直配备好所需要的,其他的好去。
MySQL的连续地址被之master是主机的别名,可以变换成ip。

修改 hive-env.sh

修改hive-env.sh 文件,没有就复制 hive-env.sh.template
,并重命名为hive-env.sh

每当这个布局文件中补充加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

修改 hive-env.sh

改hive-env.sh 文件,没有就复制 hive-env.sh.template
,并重命名为hive-env.sh

在这个布局文件中上加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

增补加 数据让包

出于Hive 默认自带的数据库是下mysql,所以这块就是用mysql
用mysql 的叫包 上传来 /opt/hive/hive2.1/lib

加加 数据驱动包

由于Hive 默认自带的数据库是行使mysql,所以这块就是之所以mysql
以mysql 的驱动包 上传来 /opt/hive/hive2.1/lib

五、HBase的环境布置

HBase环境的切实安排当自身之就篇充分数额上系列之二 —–
HBase环境搭建(单机)
以及介绍得十分详细了。本篇就大概介绍下。

五、HBase的条件布置

HBase环境的求实配置于我之立首深数目上系列的二 —–
HBase环境搭建(单机)
以及介绍得挺详细了。本篇就大致介绍下。

修改 hbase-env.sh

编排 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

征:配置的路线为自己的啊仍。HBASE_MANAGES_ZK=false
是勿启用HBase自带的Zookeeper集群。

修改 hbase-env.sh

编 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

证明:配置的路为好之吧遵循。HBASE_MANAGES_ZK=false
是勿启用HBase自带的Zookeeper集群。

修改 hbase-site.xml

编hbase-site.xml 文件,在添加如下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

征:hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase
。hbase.cluster.distributed
:Hbase的周转模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在跟一个JVM里面。

修改 hbase-site.xml

编制hbase-site.xml 文件,在累加如下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

证实:hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase
。hbase.cluster.distributed
:Hbase的周转模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在与一个JVM里面。

六、Hive整合HBase的条件布置以及测试

六、Hive整合HBase的条件布置与测试

1,环境布置

坐Hive与HBase整合的落实是动两者本身对外的API接口互相通信来形成的,其具体做事暨由Hive的lib目录中的hive-hbase-handler-.jar工具类来贯彻。所以就需要拿hive的
hive-hbase-handler-
.jar 复制到hbase/lib中即使足以了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

图片 11
横流:
如果以hive整合hbase中,出现版本之类的题目,那么为hbase的本为主,将hbase中之jar包覆盖hive的jar包。

1,环境布置

因为Hive与HBase整合的实现是运用两者本身对外的API接口互相通信来形成的,其具体做事暨由Hive的lib目录中的hive-hbase-handler-.jar工具类来落实。所以只待将hive的
hive-hbase-handler-
.jar 复制到hbase/lib中就足以了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

图片 12
横流:
如果以hive整合hbase中,出现版本之类的题材,那么为hbase的版为主,将hbase中的jar包覆盖hive的jar包。

2,hive和hbase测试

在进行测试的时节,确保hadoop、hbase、hive环境就打响搭建筑好,并且都成功启动了。
开拓xshell的少数单令窗口
一个登hive,一个登hbase

2,hive和hbase测试

每当拓展测试的时候,确保hadoop、hbase、hive环境已打响搭建筑好,并且都成功启动了。
开拓xshell的星星点点只令窗口
一个入hive,一个跻身hbase

6.2.1以hive中开创映射hbase的说明

在hive中创造一个映射hbase的申,为了好,设置两度的表名都也t_student,存储的发明也是是。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student
是hive表中之称谓,第二独t_student是概念在hbase的table名称
,第三单t_student 是储存数据表的名目(“hbase.mapred.output.outputtable”
= “t_student”这个可以不用,表数据就囤在亚独表中了) 。
(id int,name string)
这个是hive表结构。如果要是加字段,就为这种格式增加。如果要加进字段的诠释,那么当字段后面添加comment
‘你如描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment
‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这个是指定的存储器。
hbase.columns.mapping 是概念在hbase的列族。
比如:st1就是列族,name就是排。在hive中创造表t_student,这个表包括个别独字段(int型的id和string型的name)。
映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

申成功创建之后
在hive、hbase分别中查看表和说明结构
hive中输入

show tables;
describe t_student;

hbase输入:

list
describe ‘t_student’

图片 13

图片 14
好望表已经成功之创建了

6.2.1每当hive中开创映射hbase的阐明

于hive中创造一个映射hbase的发明,为了便于,设置两边的表名都也t_student,存储的表也是这个。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student
是hive表中之名,第二单t_student是概念在hbase的table名称
,第三独t_student 是储存数据表的名号(“hbase.mapred.output.outputtable”
= “t_student”这个可毫不,表数据就是囤在第二只表中了) 。
(id int,name string)
这个是hive表结构。如果只要增字段,就以这种格式增加。如果要是多字段的注释,那么以字段后面添加comment
‘你要是描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment
‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这个是指定的存储器。
hbase.columns.mapping 是概念在hbase的列族。
譬如说:st1就是列族,name就是排。在hive中创造表t_student,这个表包括个别单字段(int型的id和string型的name)。
映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

发明成功创造之后
于hive、hbase分别中查看表和阐发结构
hive中输入

show tables;
describe t_student;

hbase输入:

list
describe ‘t_student’

图片 15

图片 16
可看看表已经成功之创导了

6.2.2数码并测试

进入hbase之后
在t_student中上加少长数 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

图片 17

接下来切换到hive中
查询该表
输入:

select * from t_student;

图片 18

下一场在hive中去该表
流动:因为做测试要扣押结果,所以用表删除了。如果同学等要做测试的语,是无必要去该表的,因为当后还会见以该表。

然后查hive和hbase中之表是否去了
输入:

drop table t_student;

图片 19

图片 20
由此这些可见见hive和hbase之间的数成功并!

6.2.2数额并测试

进入hbase之后
在t_student中上加少条数 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

图片 21

然后切换到hive中
查询该表
输入:

select * from t_student;

图片 22

接下来于hive中去除该表
注:因为做测试要看结果,所以用表删除了。如果同学等如若召开测试的语句,是从未必要去该表的,因为在背后还会动该表。

下一场查hive和hbase中之阐明是否去了
输入:

drop table t_student;

图片 23

图片 24
经过这些足以望hive和hbase之间的数据成功并!

6.2.3涉嫌查询测试

6.2.3提到查询测试

hive外部表测试

先行以hbase中盖同等张t_student_info表,添加两只列族
下一场查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

图片 25

下一场于hive中创造外部表
说明:创建外部表要使用EXTERNAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

图片 26

然后在t_student_info 中补充加多少

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

图片 27

然后在hive中查询该表
输入:

select * from t_student_info;

图片 28

询问及数后,然后将t_student 和t_student_info进行关联查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

图片 29
证实:通过涉及查询,可以得出表之间是好提到查询的。但是明显看到hive
使用默认的mapreduce 作为引擎是何等的徐。。。

别证明:
由于投机的虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的数据量,还是挺,最后没办法用企业之测试服务开展测试。
每当询问同一张表的时候,hive没有运用引擎,因此相对比较快,如果是开展了事关查询之类的,就会见用引擎,由于hive默认的引擎是mr,所以会见好缓慢,也跟布局起肯定关联,hive2.x过后官方就非建议采用mr了。

正文到此结束,谢谢阅读!
版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
个人博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!

hive外部表测试

预先在hbase中建筑平张t_student_info表,添加两单列族
然后查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

图片 30

下一场于hive中开创外部表
证:创建外部表要使用EXTERNAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

图片 31

然后在t_student_info 中上加多少

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

图片 32

然后在hive中询问该表
输入:

select * from t_student_info;

图片 33

查询到数量后,然后将t_student 和t_student_info进行关联查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

图片 34
说明:通过关系查询,可以得出表之间是可提到查询的。但是明显看出hive
使用默认的mapreduce 作为引擎是多的悠悠。。。

其他验证:
鉴于自己之虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的数据量,还是坏,最后没有道用企业之测试服务开展测试。
每当查询同一张表的时候,hive没有采用引擎,因此相对比较快,如果是展开了关系查询之类的,就会见以引擎,由于hive默认的发动机是mr,所以会很缓慢,也与配备出早晚关系,hive2.x以后官方就不建议以mr了。

本文到此结束,谢谢阅读!
版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
民用博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!