Hive | 十八、hive之压缩存储实操
Hive | 十八、hive之压缩存储实操
|
Hive |
0 评论
[toc]一、主流文件存储格式对比实验从存储文件的压缩比和查询速度两个角度对比。存储文件的压缩比测试:1. 测试数据2. TextFile创建表,存储数据格式为 TEXTFILEcreate table log_text (track_time string,url string,session_i
Hive | 十七、hive之Hadoop压缩配置
Hive | 十七、hive之Hadoop压缩配置
|
Hive |
0 评论
[toc]一、Hadoop压缩配置1. MR 支持的压缩编码为了支持多种压缩/解压缩算法,Hadoop 引入了编码/解码器,如下表所示:压缩性能的比较:http://google.github.io/snappy/On a single core of a Core i7 processor in
Hive | 十六、hive之自定义UDTF函数
Hive | 十六、hive之自定义UDTF函数
|
Hive |
0 评论
[toc]一、自定义 UDTF 函数需求自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词,例如:hive(default)> select myudtf("hello,world,hadoop,hive", ",");helloworl
Hive | 十五、hive之自定义UDF函数
Hive | 十五、hive之自定义UDF函数
|
Hive |
0 评论
[toc]一、自定义函数概述Hive 自带了一些函数比如:max/min 等,但是数量有限,自己可以通过自定义 UDF 来方便的扩展。当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。根据用户自定义函数类别
Hive | 十四、hive之窗口函数
Hive | 十四、hive之窗口函数
|
Hive |
0 评论
[toc]一、窗口函数(开窗函数)1. 聚合窗口相关函数说明OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化。CURRENT ROW:当前行n PRECEDING:往前 n 行数据n FOLLOWING:往后 n 行数据UNBOUNDED:起点,​UNBOUNDE
Hive | 十三、hive之系统内置函数
Hive | 十三、hive之系统内置函数
|
Hive |
0 评论
[toc]一、系统内置函数查看系统自带的函数hive> show functions;显示自带的函数的用法hive> desc function upper;详细显示自带的函数的用法hive> desc function extended upper;二、常用内置函数1. 空字段赋
Hive | 十二、hive之分区表和分桶表
Hive | 十二、hive之分区表和分桶表
|
Hive |
0 评论
[toc]一、分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。1. 分区表基
Hive | 十一、hive之分组和排序
Hive | 十一、hive之分组和排序
|
Hive |
0 评论
[toc]一、Group By 语句GROUP BY 语句通常会和聚合函数一起使用,按照一个或者多个列队结果进行分组,然后对每个组执行聚合操作。案例实操:计算 emp 表每个部门的平均工资hive (default)> select t.deptno, avg(t.sal) avg_sal f
Hive | 十、hive之多表连接
Hive | 十、hive之多表连接
|
Hive |
0 评论
[toc]一、 等值 JoinHive 支持通常的 SQL JOIN 语句。案例实操根据员工表和部门表中的部门编号相等,查询员工编号、员工名称和部门名称;hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp ej
Hive | 九、hive基础查询
Hive | 九、hive基础查询
|
Hive |
0 评论
[toc]零、整体语法语法地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法:SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM