Spark SQL 与Hive集成

标签: 大数据相关技术  Spark学习指南

一、Spark SQL 与Hive集成(spark-shell)

(1)添加配置项目

第一步:
拷贝hive的配置文件hive-site.xml到spark的conf的目录下

cp hive-site.xml /opt/Hadoop/spark/conf

第二步:
添加hive-site.xml中metastore的url的配置

<property>
        <name>hive.metastore.uris</name>
        <value>thrift://node1:9083</value>
</property>

第三步:
把hive中的MySQL的jar包上传到spark的jars目录下

cp mysql-connector-java-5.1.48-bin.jar /opt/Hadoop/spark/jars

第四步:
检查spark-env.sh文件中的Hadoop的配置项

HADOOP_CONF_DIR=/opt/Hadoop/hadoop/etc/hadoop

(2)启动服务

第一步:
检查mysql是否启动:

service mysqld status
Redirecting to /bin/systemctl status mysqld.service
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since 三 2020-09-23 14:48:53 CST; 1h 10min ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 1712 ExecStart=/usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid $MYSQLD_OPTS (code=exited, status=0/SUCCESS)
  Process: 1179 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 1714 (mysqld)
   CGroup: /system.slice/mysqld.service
           └─1714 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mys...

9月 23 14:48:50 node1 systemd[1]: Starting MySQL Server...
9月 23 14:48:53 node1 systemd[1]: Started MySQL Server.

第二步:
启动hive中的metastore

bin/hive --service metastore
Starting Hive Metastore Server

(3)数据测试

第一步:
启动hive

bin/hive

第二步:
创建kfk数据库

create database kfk;

第三步:
创建test表

use kfk;
create table if not exists test(userid string,username string) 
row format delimited fields terminated by ' ' stored as textfile;

第四步:
准备数据

0001 java
0002 python
0003 c
0004 hadoop
0005 php
0006 linux
0007 spark

第五步:
导入数据

load data local inpath "/opt/datas/test1.txt" into table test; 
hive (kfk)> select * from test;
OK
test.userid	test.username
0001	java
0002	python
0003	c
0004	hadoop
0005	php
0006	linux
0007	spark
Time taken: 0.055 seconds, Fetched: 7 row(s)

第六步:
通过spark-shell查看数据

spark.sql("select * from kfk.test")
res0: org.apache.spark.sql.DataFrame = [userid: string, username: string]
scala> spark.sql("select * from kfk.test").show
+------+--------+
|userid|username|
+------+--------+
|  0001|    java|
|  0002|  python|
|  0003|       c|
|  0004|  hadoop|
|  0005|     php|
|  0006|   linux|
|  0007|   spark|
+------+--------+

(4)将数据集写入到MySQL

首先进入mysql数据库,并且创建test数据库

mysql -u root -p
mysql> create database test;

然后进入spark shell ,将spark sql分析hive中的数据写入到mysql中

scala> import java.util.Properties
import java.util.Properties
scala> val pro = new Properties()
pro: java.util.Properties = {}
scala> pro.setProperty("driver","com.mysql.jdbc.Driver")
res0: Object = null
scala> val df = spark.sql("select * from kfk.test")
df: org.apache.spark.sql.DataFrame = [userid: string, username: string]
scala> df.write.jdbc("jdbc:mysql://node1/test?user=root&password=199911","spark1",pro)

最后查看mysql数据库中表spark1的数据

mysql> select * from spark1;
+--------+----------+
| userid | username |
+--------+----------+
| 0001   | java     |
| 0002   | python   |
| 0003   | c        |
| 0004   | hadoop   |
| 0005   | php      |
| 0006   | linux    |
| 0007   | spark    |
+--------+----------+
7 rows in set (0.00 sec)

二、Spark SQL 与Hive集成(spark-sql)

第一步:启动hive中的metastore

bin/hive --service metastore
Starting Hive Metastore Server

第二步:启动spark-sql

bin/spark-sql 

显示数据库,我们可以发现是和hive中是一样的,命令也是使用SQL语句

spark-sql (default)> show databases;
20/09/23 10:38:58 INFO CodeGenerator: Code generated in 164.478292 ms
databaseName
default
kfk
Time taken: 1.338 seconds, Fetched 2 row(s)
20/09/23 10:38:58 INFO SparkSQLCLIDriver: Time taken: 1.338 seconds, Fetched 2 row(s)
spark-sql (default)> use kfk;
spark-sql (default)> show tables;
20/09/23 10:39:34 INFO CodeGenerator: Code generated in 8.452303 ms
database	tableName	isTemporary
kfk	test	false
Time taken: 0.059 seconds, Fetched 1 row(s)
20/09/23 10:39:34 INFO SparkSQLCLIDriver: Time taken: 0.059 seconds, Fetched 1 row(s)
spark-sql (default)> select * from test;
userid	username
0001	java
0002	python
0003	c
0004	hadoop
0005	php
0006	linux
0007	spark
Time taken: 0.806 seconds, Fetched 7 row(s)

综上,Spark SQL 与Hive集成成功。

三、Spark SQL之ThirftServer和beeline使用

Spark SQL也可以使用其JDBC / ODBC或命令行界面充当分布式查询引擎。
thriftserver和spark-shell/spark sql的区别:

  • spark-shell,spark-sql都是一个spark application
  • thriftserver,不管你启动多少个客户端(beeline/code),只要是连在一个thriftserver上,永远都是一个spark application,解决了一个数据共享的问题,多个客户端可以共享数据。
  • 用thriftserver,在UI中能直接看到sql的执行计划,方便优化

总结
基于Spark的thirftserver来访问hive中的数据,可以让多个客户端连接到同一个服务器端,跑的是同一个application
Thirftserver作为服务端,beeline作为客户端来访问服务端,支持多个客户端同时访问,有助于多个客户端之间数据的共享

使用步骤:
第一步:启动metastore服务

bin/hive --service metastore
Starting Hive Metastore Server

第二步:启动thriftserver

sbin/start-thriftserver.sh
starting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /opt/Hadoop/spark/logs/spark-caizhengjie-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-node1.out

第三步:通过客户端beeline来连接

[[email protected] spark]$ bin/beeline 
Beeline version 1.2.1.spark2 by Apache Hive
beeline> !connect jdbc:hive2://node1:10000
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: caizhengjie
Enter password for jdbc:hive2://node1:10000: ******
20/09/24 01:26:56 INFO Utils: Supplied authorities: node1:10000
20/09/24 01:26:56 INFO Utils: Resolved authority: node1:10000
20/09/24 01:26:56 INFO HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://node1:10000
Connected to: Spark SQL (version 2.4.6)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ

下面就可以通过SQL命令来来访问hive中的数据表

show databases;
+---------------+--+
| databaseName  |
+---------------+--+
| default       |
| kfk           |
+---------------+--+
use kfk;
+---------+--+
| Result  |
+---------+--+
+---------+--+
show tables;
+-----------+------------+--------------+--+
| database  | tableName  | isTemporary  |
+-----------+------------+--------------+--+
| kfk       | test       | false        |
+-----------+------------+--------------+--+
select * from test;
+---------+-----------+--+
| userid  | username  |
+---------+-----------+--+
| 0001    | java      |
| 0002    | python    |
| 0003    | c         |
| 0004    | hadoop    |
| 0005    | php       |
| 0006    | linux     |
| 0007    | spark     |
+---------+-----------+--+

最后,我通过测试,使用了2个客户端beeline的连接,查看web监控页面
在这里插入图片描述
其实就是一个application,每个beeline只作为一个job


以上内容仅供参考学习,如有侵权请联系我删除!
如果这篇文章对您有帮助,左下角的大拇指就是对博主最大的鼓励。
您的鼓励就是博主最大的动力!

版权声明:本文为weixin_45366499原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45366499/article/details/108757298

智能推荐

Python 中各种imread函数的区别与联系

  原博客:https://blog.csdn.net/renelian1572/article/details/78761278 最近一直在用python做图像处理相关的东西,被各种imread函数搞得很头疼,因此今天决定将这些imread总结一下,以免以后因此犯些愚蠢的错误。如果你正好也对此感到困惑可以看下这篇总结。当然,要了解具体的细节,还是应该 read the fuc...

用栈判断一个字符串是否平衡

注: (1)本文定义:左符号:‘(’、‘[’、‘{’…… 右符号:‘)’、‘]’、‘}’……. (2)所谓的字符串的符号平衡,是指字符串中的左符号与右符号对应且相等,如字符串中的如‘(&r...

JAVA环境变量配置

位置 计算机->属性->高级系统设置->环境变量 方式一 用户变量新建path 系统变量新建classpath 方式二 系统变量 新建JAVA_HOME,值为JDK路径 编辑path,前加 方式三 用户变量新建JAVA_HOME 此路径含lib、bin、jre等文件夹。后运行tomcat,eclipse等需此变量,故最好设。 用户变量编辑Path,前加 系统可在任何路径识别jav...

常用的伪类选择器

CSS选择器众多 CSS选择器及权重计算 最常用的莫过于类选择器,其它的相对用的就不会那么多了,当然属性选择器和为类选择器用的也会比较多,这里我们就常用的伪类选择器来讲一讲。 什么是伪类选择器? CSS伪类是用来添加一些选择器的特殊效果。 常用的为类选择器 状态伪类 我们中最常见的为类选择器就是a标签(链接)上的为类选择器。 当我们使用它们的时候,需要遵循一定的顺序问题,否则将可能出现bug 注意...

ButterKnife的使用介绍及原理探究(六)

前面分析了ButterKnife的源码,了解其实现原理,那么就将原理运用于实践吧。 github地址:       点击打开链接 一、自定义注解 这里为了便于理解,只提供BindView注解。 二、添加注解处理器 添加ViewInjectProcessor注解处理器,看代码, 这里分别实现了init、getSupportedAnnotationTypes、g...

猜你喜欢

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。考试复习题库1|要求:只能使用单字符比较操作。

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。 要求只能使用单字符比较操作。 参考代码: 实验结果截图:...

小demo:slideDown()实现二级菜单栏下拉效果

效果如下,鼠标经过显示隐藏的二级菜单栏 但是这样的时候会存在一个问题,就是鼠标快速不停移入移出会导致二级菜单栏闪屏现象,一般需要使用stop()来清除事件  ...

基于docker环境的mysql主从复制

1、安装docker 可以参考之前的博客,之前写过了~ 2、拉取mysql镜像 3、创建mysql01和mysql02实例 主: 从: 4、进入容器修改配置 1)修改主数据库配置 进入主数据库容器 切换到 etc/mysql/目录下 查看可以看到my.cnf文件,使用vim编辑器打开,但是需要提前安装 安装vim命令: 安装成功后,修改my.cnf文件 新增配置后的my.cnf: binlog 日...

机器学习算法之决策树

原文:http://www.jianshu.com/p/6eecdeee5012 决策树是一种简单高效并且具有强解释性的模型,广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树,如: 决策树 在使用模型进行预测时,根据输入参数依次在各个判断节点进行判断游走,最后到叶子节点即为预测结果。 如何构造决策树 决策树算法的核心是通过对数据的学习,选定判断节点,构造一颗合适的决策树。 假设我们从用户...

Netty实现一个简单的RPC框架

微服务 微服务通讯 API构建需要考虑的因素 通讯协议 文本协议或者二进制协议 支持的调用方式:单向、双向、Streaming API定义与声明 API容错、可伸缩性 RPC框架 REST http://www.ics.uci.edu/~fielding/pubs/dissertation/rest_arch_style.htm REST即Representational State Transf...