Hive高级查询(二)

标签: 大数据  hive

一.Hive聚合运算–group by

  • group by 用于分组
    Hive基本内置聚合函数与group by一起使用
    如果没有指定group by字句,默认聚合整个表
    除聚合函数外,所选的其他列也必须包含在group by中
    group by支持使用case when或表达式
    支持按位编号分组
set hive.groupby.orderby.position.alias=true;

二.聚合函数-having

having:对group by聚合结果的条件过滤

  • 可以避免在group by之后使用子查询
  • having 之后可以使用表达式,不建议

三.Hive聚合运算-基础聚合

1.使用内置聚合函数进行数据聚合

  • max,min,count,sum,avg
  • collect_set,collect_list: 返回每个组列中对象集/列表
  • 与group by 一起使用,可应用于列或者表达式
  • 没有group by则按所有列聚合
  • select 的列必须包含在group by中
  • 对null的聚合为0
    select count(null)=0

四.Hive聚合运算:高级聚合-1

1.group sets

  • 实现对同一数据集进行多重group by操作
  • 本质是多个group by进行union all操作
  • 在这里插入图片描述

五.Hive聚合运算-高级聚合-2

group by with cube|rollup

  • cube:对分组列进行所有可能组合的聚合
  • rollup:计算维度层次级别上的聚合
  • 在这里插入图片描述

六.示例:

素材

1,andy,18
2,lily,20
3,tom,21
4,joke,20
5,david,19
6,nick,20

建表语句

create table student(
id int,
name string,
age int)
row format delimited
fields terminated by ','
lines terminated by '\n';

在这里插入图片描述

(1)

 select count(null) from student;

在这里插入图片描述
(2)

select name,age from student group by age,name having age>18;

在这里插入图片描述
(3)

select id,age,count(name) from student s group by id,age grouping sets(id,age);

分别对id 和age进行分组
在这里插入图片描述
(4)

select id,age,count(name) from student s group by id,age with cube;

在这里插入图片描述
(5)

select id,age,count(name) from student s group by id,age with rollup;

在这里插入图片描述

版权声明:本文为ckw__xyy原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ckw__xyy/article/details/108735243

智能推荐

26_Python基础_继承

面向对象三大特性: 封装 根据 职责 将 属性 和 方法 封装 到一个抽象的 类 中 继承 实现代码的重用, 相同的代码不需要重复的编写 多态 不同的对象调用相同的方法,  产生不同的执行结果,  增加代码的灵活度 1.  单继承 1.1 概念 继承的概念:&...

循环

与任何程序设计语言一样Java利用条件语句与循环结构确定流程控制,一下总结一下Java中的循环语句: while do while for switch 对于golang来说: switch非常灵活。从第一个expr为true的case开始执行,如果case带有fallthrough,程序会继续执行下一条case,不会再判断下一条case的expr,如果之后的case都有fallthrough,d...

1638 统计只差一个字符的子串数目(动态规划)

1. 问题描述: 给你两个字符串 s 和 t ,请你找出 s 中的非空子串的数目,这些子串满足替换一个不同字符以后,是 t 串的子串。换言之,请你找到 s 和 t 串中恰好只有一个字符不同的子字符串对的数目。比方说, "computer" 和 "computation"...

websocket基本原理

HTTP中一个request只能有一个response。而且这个response也是被动的,不能主动发起 因此过去的服务端推送信息是通过客户端不停的轮询实现的 websocket是双向通信协议,提供了服务端主动推送信息的能力 需要客户端(浏览器)和服务端同时支持 如果经过代理的话,还需要代理支持,否则有些代理在长时间无通信时会自动切断连接 因此WS为了保证连接不被断掉,会发心跳 WebSocket...

mybatis+ehcache二级缓存

导入jar包 mapper.xml文件开启二级缓存 pojo类实现序列化接口 配置ehcache.xml 测试...

猜你喜欢

python+opencv实现图像拼接

任务 拍摄两张图片去除相同部分,拼接在一起 原图 结果 步骤 读取两张图片 使用sift检测关键点及描述因子 匹配关键点 处理并保存关键点 得到变换矩阵 图像变换并拼接 代码实现 扩展 这里对右边图像进行变换,右边变得模糊,可以修改代码对左边图像变换 这里只有两张图片拼接,可以封装实现多张图片拼接 可以修改代码实现上下图片的拼接...

python_sklearn机器学习算法系列之AdaBoost------人脸识别(PCA,决策树)

          注:在读本文之前建议读一下之前的一片文章python_sklearn机器学习算法系列之PCA(主成分分析)------人脸识别(k-NearestNeighbor,KNN)         本文主要目的是通过一个简单的小...

memmove函数与memcpy函数的模拟实现

memmove函数和memcpy函数都是在内存复制任意类型的,但是它俩也有区别。当源区域和目标区域有重复的,memmove函数会复制缓冲区重叠的部分,而memcpy相反,会报出未知错误。 下面给出两个函数的实现 首先,memmove函数。 实现的基本原理如下图。 具体代码如下: memcpy函数的实现很简单,就直接给出源代码了...

SpringFramework核心 - IOC容器的实现 - 总结

1. 概述 把Spring技术内幕第一章和第二章过了一遍,也做了一些笔记, 对IOC容器的实现有了一定皮毛理解,现在跟着源码再过一遍总结一下IOC容器的初始化,Bean的初始化的过程,做一下总结 ① IOC容器和简单工厂模式 在开始之前,先想想我们平时是怎么使用IOC容器为我们管理Bean的,假设我们要把下面的User类交给IOC容器管理 我们不想关心如何创建一个User对象实例的,仅仅在需要他的...