hive create database Hive从入门到精通(一) – 简介和安装

hive create database Hive从入门到精通(一) – 简介和安装

Hive从入门到精通(一) – 简介和安装

0. 背景

Hive是基于构建的一套数据仓库分析系统(数仓)。

它是一个数据仓库工具，用来进行数据ETL(提取、转化、加载)。

Hive提供了丰富的SQL查询方式来分析存储在分布式文件系统中的数据。

它具备如下一些主要功能:

注意: 由于Hive是构建在基础上的，因此，必须先安装，再安装对应版本的Hive。

(3.x的Hive对应3.x.y版本的；2.x的Hive对应2.x.ya版本的)

1. 为什么要使用Hive

有人说既然Hive是提供SQL查询的，而且又是底层基于的。

为什么那么麻烦呢？关系型不就好了嘛！

其实还是在于一个数据量的问题。

在传统的RDBMS里，不管是, Sql , Mysql等，如果单表的数据达到千万条时hive create database，不管你采用何种优化，都会变得比原来要慢很多，而且性能很难再有所提升。

可以存储PB级别的数据，处理数据的过程使用模型hive create databasehive create database Hive从入门到精通(一) – 简介和安装，存储和计算能力均可平滑扩展。

附录(数据单位):

1Byte = 8 Bit

1 KB = 1,024 Bytes

1 MB = 1,024 KB = 1,048,576 Bytes

1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes

1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes

1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes

1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes

1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes

1 YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes

但是有个最大的缺点就是hive create databasehive create database Hive从入门到精通(一) – 简介和安装，数据的处理用户都要面对Java代码。

这样不是很方便。开发了Hive，后来贡献给了。

Hive旨在让用户以SQL的方式来操作HDFS，但是其底层还是基于的。

Hive就像和用户之前的中间件。

2. Hive的安装

# hive
export HIVE_HOME=/Users/kg/soft/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

原始文件内容如下：

image.png

在上添加内容如下：

image.png

代码如下:

  javax.jdo.option.ConnectionUserName
  root


  javax.jdo.option.ConnectionPassword
  your password


  javax.jdo.option.ConnectionURLmysql
  jdbc:mysql://localhost:3306/hive?vertifyServerCertificate=false&useSSL=false


  javax.jdo.option.ConnectionDriverName
  com.mysql.jdbc.Driver


  hive.metastore.schema.verification
  false

并将以下内容删除：

image.png

image.png

3. 验证安装(建库和表)

使用mysql -u root -pyour 命令进入到mysql中

在mysql shell中输入:

hive;

创建hive数据库

image.png

此时hive数据库是空的

然后在终端执行： – mysql -，如下图所示：

image.png

此时在mysql数据库中再次执行show ;即可显示hive初始化信息，如下图所示：

image.png

在hive安装目录中创建一个tmp目录

记录目录为：/hive安装目录/tmp，并修改hive-site.xml文件，将${:java.io.} 全部替换成/hive安装目录/tmp，将{:user.name} 替换成{user.name}

然后再次执行hive进入到hive shell

命令行通过 fs -lsr /查看hdfs情况

image.png

然后在hive shell界面新建一个数据库

再次查看hdfs目录情况就会发现多了一个.db的文件

在mysql中查看

*

from DBS;

image.png

新建一张表

use ;

table (id int, name );

*

from TBLS;

image.png

访问:50070，查看HDFS数据

image.png

最后编辑于 ：2020.05.29 20:30:31

©著作权归作者所有,转载或内容合作请联系作者