12.27 熟悉Hive的基本操作

news/2025/1/2 3:54:54/文章来源:https://www.cnblogs.com/yindantong/p/18642870

1.实验目的

1)理解Hive作为数据仓库在Hadoop体系结构中的角色。

2)熟练使用常用的HiveQL

2.实验平台

操作系统:Ubuntu18.04(或Ubuntu16.04)。

Hadoop版本:3.1.3

Hive版本:3.1.2

JDK版本:1.8。

3.数据集

由《Hive编程指南》(O'Reilly系列,人民邮电出版社)提供,下载地址:

https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip

备用下载地址:

https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip

解压后可以得到本实验所需的stocks.csvdividends.csv两个文件。

4.实验步骤

1)创建一个内部表stocks,字段分隔符为英文逗号,表结构如表14-11所示。

14-11 stocks表结构

col_name

data_type

exchange            

string              

symbol              

string              

ymd                 

string              

price_open          

float               

price_high          

float               

price_low           

float               

price_close         

float               

volume              

int                 

price_adj_close     

float  

 

 

(2)创建一个外部分区表dividends(分区字段为exchangesymbol),字段分隔符为英文逗号,表结构如表14-12所示。

14-12 dividends表结构

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

 

 

3)从stocks.csv文件向stocks表中导入数据。

 

 

4创建一个未分区的外部表dividends_unpartitioned,并从dividends.csv向其中导入数据,表结构如表14-13所示。

14-13 dividends_unpartitioned表结构

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

 

 

 

 

5通过对dividends_unpartitioned的查询语句,利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。

 

 

6)查询IBM公司(symbol=IBM)2000年起所有支付股息的交易日(dividends表中有对应记录)的收盘价(price_close)

 

 

7查询苹果公司(symbol=AAPL)200810月每个交易日的涨跌情况,涨显示rise,跌显示fall,不变显示unchange

 

 

8)查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

 

 

9)从stocks表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。

 

 

10)查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/861660.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

12.23 NoSQL和关系数据库的操作比较

1.实验目的 (1)理解四种数据库(MySQL、HBase、Redis和MongoDB)的概念以及不同点; (2)熟练使用四种数据库操作常用的Shell命令; (3)熟悉四种数据库操作常用的Java API。 2.实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04); (2)Hadoop版本:3.1.3; (…

12.24 MapReduce初级编程实践1

1.实验目的 (1)通过实验掌握基本的MapReduce编程方法; (2)掌握用MapReduce解决一些常见的数据处理问题,包括数据去重、数据排序和数据挖掘等。 2.实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04) (2)Hadoop版本:3.1.3 3.实验步骤 (一)编程实现文件合…

12.19熟悉常用的HDFS操作1

1.实验目的 (1)理解HDFS在Hadoop体系结构中的角色; (2)熟练使用HDFS操作常用的Shell命令; (3)熟悉HDFS操作常用的Java API。 2. 实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04); (2)Hadoop版本:3.1.3; (3)JDK版本:1.8; (4)Java IDE:Eclip…

12.22熟悉常用的HBase操作2

(二)HBase数据库操作 1. 现有以下关系型数据库中的表和数据(见表14-3到表14-5),要求将其转换为适合于HBase存储的表并插入数据: 表14-3 学生表(Student)学号(S_No)姓名(S_Name)性别(S_Sex)年龄(S_Age)2015001Zhangsanmale232015002Maryfemale222015003Lisimale…

12.15熟悉常用的Linux操作和Hadoop操作1

1.实验目的 Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作,为顺利开展后续其他实验奠定基础。 2.实验平台 (1)操作系统:Linux(建议Ubuntu16.04或Ubuntu18.04); (2)Hadoop版本:3.1.3。 3.实验步骤 1.熟…

某乎搜索接口加密参数分析

打开某乎,打开浏览器开发者工具,某乎主页随便搜索一个词,如 hello,找到接口如下: aHR0cHM6Ly93d3cuemhpaHUuY29tL2FwaS92NC9zZWFyY2hfdjM/ 该接口为 GET 请求,url 参数未加密,请求头参数有几个未知,如 x-zse-93,x-zse-96,x-zst-81,经测试,请求头必带的参数有 cooki…

JVM实战—5.G1垃圾回收器的原理和调优

大纲 1.G1垃圾回收器的工作原理 2.G1分代回收原理—性能为何比传统GC好 3.使用G1垃圾回收器时应如何设置参数 4.如何基于G1垃圾回收器优化性能 5.问题汇总1.G1垃圾回收器的工作原理 (1)ParNew + CMS的组合有哪些痛点 (2)G1垃圾回收器 (3)G1如何实现垃圾回收的停顿时间是可控的 …

大模型--稚晖君开源百万机器人真机数据集 - HPT 具身智能03--43

目录1. 参考2. AgiBot World 数据集1. Arm(手臂)2. Waist(腰部)3. Chassis(底盘)4. Head(头部)5. End-Effector(末端执行器)6. Computing Platform(计算平台)7. Emergency Stop Button(紧急停止按钮)8. Touchscreen Display(触摸屏显示)9. Back Sensor(后部传…

基于FPGA的信号发生器verilog实现,可以输出方波,脉冲波,m序列以及正弦波,可调整输出信号频率

1.算法运行效果图预览 (完整程序运行后无水印)输出方波输出脉冲波 输出m随机序列输出正弦波2.算法运行软件版本 vivado2019.23.部分核心程序 (完整版代码包含详细中文注释和操作步骤视频)//the module of juxin signal signal_jux signal_jux_u(.i_clk (clk_low),.i_rst …

Vue-cli脚手架安装介绍

1、安装Vue-cli 可以使用npm或cnpm安装vue-cli项目构想工具 # 添加国内淘宝镜像加速 sudo npm config set registry https://registry.npmmirror.com/ sudo npm install -g @vue/cli 或使用 # 添加国内淘宝镜像加速 sudo npm install -g cnpm --registry https://registry.npmm…

一名程序员决定学点会计基础知识

1. 概述 企业是一种以营利(即获取经济利润)为目的的经济组织。在会计看来,企业一辈子其实只做了三件事:经营、投资和筹资。 在正常情况下,企业的经济活动是一个川流不息的过程。这一过程也是运用、分配及耗用企业经济资源的过程 。由于资金是企业经济资源的货币表现形式或…

追光记——2024软件工程秋个人总结报告

软件工程 https://edu.cnblogs.com/campus/fzu/SE2024作业要求 https://edu.cnblogs.com/campus/fzu/SE2024/homework/13315作业目标 软件工程个人总结学号 102201311一、学期回顾 1.1 SE之初印象 论:大三上最难的一门课是哪个? 操作系统吧,毕竟是408要求的大课 数据库也算合…