共享单车之数据存储

文章目录

  • 第1关：获取工作簿中的数据
  • 第2关：保存共享单车数据

第1关：获取工作簿中的数据

相关知识
获取工作簿中的信息，我们可以使用Java POI（POI是一个提供API给Java程序对Microsoft Office格式档案读和写的功能）提供的Workbook类来操作。

为了完成本关任务，你需要掌握：如何获取Wookbook的数据。

读取一个Wookbook中数据
读取工作簿中的内容大致分为下列几个步骤：

使用WorkbookFactory新建一个工作簿（Wookbook）
InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream(“data.xls”);//通过类加载器获取本地文件
Workbook workbook = WorkbookFactory.create(resourceAsStream);
获取给定索引处的Sheet对象。
Sheet sheet = workbook.getSheetAt(0);//拿到Wookbook中的第一个Sheet
说明：一个Wookbook中可能存在多个Sheet，因此需要指定索引，如下图：

通过Sheet对象获取指定行和行内单元格。
Row row = sheet.getRow(1);//首行一般为说明，因此我们直接从第一行进行获取
Cell cell = row.getCell(0);//获取当前行第一个单元格
获取单元格中的值。

上图观察表结构数据trip_id为数字类型，时间为字符类型，在获取数据时我们必须遵循类型规则，对应获取。

//1.获取第一行中trip_id列的第一个值（33404951）
double numericCellValue = row.getCell(0).getNumericCellValue();
DecimalFormat formatter = new DecimalFormat(“########”);//一个#表示一个数字
String trip_id =formatter.format(numericCellValue);//我们需要使用DecimalFormat将数据格式化
//2.获取第一行中开始时间单元格的值
FastDateFormat instance = FastDateFormat.getInstance(“MM/dd/yyyy HH:mm”);
String beginTimeValue = row.getCell(1).getStringCellValue();
//为了方便后面的数据分析计算我们将需要将时间格式转为时间戳
long begintime = instance.parse(beginTimeValue).getTime();
//3.获取第一行开始经度单元格的值
double start_longitude = row.getCell(7).getNumericCellValue();
DecimalFormat formatter = new DecimalFormat(“###.######”);//#表示一个数字，不包括0
String longitude = formatter.format(start_longitude);
获取当前sheet中的物理定义行数
//为了完整的将整个Sheet中的数据全部存储，我们需要知道整个Sheet中有多少条数据，然后对其遍历
int rows = sheet.getPhysicalNumberOfRows();
编程要求
在右侧编辑器Begin-End中补充代码，获取data.xls文件中的数据，具体获取以下数据并将结果打印：trip_id、开始时间、结束经度、车辆id。

文件数据格式如下：

trip_id 开始时间 结束时间 车辆id 出发地 目的地 所在城市 开始经度 开始纬度 结束经度 结束纬度
33404951 7/1/2017 0:09 7/1/2017 0:45 5996 韩庄村北782米 韩庄村北782米 河北省保定市雄县 39.043732 116.260139 39.043732 116.260139
33463211 7/1/2017 1:01 7/1/2017 11:13 6342 韩庄村北782米 39.043732 116.260139 NA NA
33415440 7/1/2017 1:59 7/1/2017 2:12 6273 擎天矿用材料有限公司北609米 河北省保定市雄县G45(大广高速) 河北省保定市雄县G45(大广高速) 39.041691 116.235352 39.044701 116.252441
注意：表中有非法数据，我们在获取时为了避免出错或者获取到空的数据，可以使用try-catch将其抛出。

测试说明
平台会对你编写的代码进行测试：

测试输入：无；
预期输出：
骑行id：33404951，开始时间：1498838940000，车辆id：5996，结束经度：39.043732
骑行id：33415440，开始时间：1498845540000，车辆id：6273，结束经度：39.044701

开始你的任务吧，祝你成功！
示例代码如下：

package com.educoder.savedata;
import java.io.InputStream;
import java.text.DecimalFormat;
import org.apache.commons.lang3.time.FastDateFormat;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;
public class SaveWookbook {public static void main(String[] args) throws Exception {/******** **    Begin    ****** ****///1.通过类加载器获取本地文件并新建一个工作簿InputStream resourceAsStream = SaveWookbook.class.getClassLoader().getResourceAsStream("data.xls");Workbook workbook = WorkbookFactory.create(resourceAsStream);//2.拿到工作簿中第一个SheetSheet sheet = workbook.getSheetAt(0);//3.获取当前Sheet中的行数int rows = sheet.getPhysicalNumberOfRows();//4.对所有有效数据进行遍历并输出（期间无效数据通过异常捕获方式清除）for (int n = 1; n < rows; n++) {Row row = sheet.getRow(n);//通过异常方式清除格式不准确、数据不存在的无效行try {//trip_idDecimalFormat formatter1 = new DecimalFormat("########");String trip_id = formatter1.format(row.getCell(0).getNumericCellValue());//开始时间FastDateFormat instance = FastDateFormat.getInstance("MM/dd/yyyy HH:mm");String beginTimeValue = row.getCell(1).getStringCellValue();long begintime = instance.parse(beginTimeValue).getTime();//车辆idint car_id = (int)row.getCell(3).getNumericCellValue();//结束经度double start_longitude = row.getCell(9).getNumericCellValue();DecimalFormat formatter2 = new DecimalFormat("###.######");//#表示一个数字，不包括0String longitude = formatter2.format(start_longitude);System.out.println("骑行id："+trip_id+"，开始时间："+begintime+"，车辆id："+car_id+"，结束经度："+longitude);} catch (Exception e) {}}/******** **    End    ******* ***/}
}

在这里插入图片描述

第2关：保存共享单车数据

相关知识
为了完成本关任务，你需要掌握：

如何创建HBase表；
如何读取文件；
了解共享单车数据表格式以及如何获取数据；
如何存储到HBase。
如何创建HBase表
com.util.HBaseUtil类封装了对应的创建Hbase表方法createTable

示例如下：

HBaseUtil.createTable(“t_shared_bicycle”, “info”);//创建拥有一个列族的info的表t_shared_bicycle，一个列族可拥有任意数量的列。
获取本地文件
文件存放目录为src/main/resources，我们可以通过类加载器加载共享单车数据文件dataResources.xls：

InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream(“dataResources.xls”);
共享单车数据结构和获取
dataResources.xls文件格式如下：

trip_id 开始时间 结束时间 车辆id 出发地 目的地 所在城市 开始经度 开始纬度 结束经度 结束纬度
33404951 7/1/2017 0:09 7/1/2017 0:45 5996 韩庄村北782米 韩庄村北782米 河北省保定市雄县 39.043732 116.260139 39.043732 116.260139
33404950 7/1/2017 0:11 7/1/2017 0:45 5777 河北省保定市雄县G45(大广高速) 乡里乡情铁锅炖东499米 河北省保定市雄县 39.044159 116.251579 39.04652 116.237411
33404947 7/1/2017 1:59 7/1/2017 2:12 6342 韩庄村北782米 韩庄村北782米 河北省保定市雄县 39.043732 116.260139 39.043732 116.260139
如何存储到HBase
com.util.HBaseUtil类封装了对应的批量存储到Hbase表方法putByTable。示例如下：

List puts = new ArrayList<>();// 一个PUT代表一行数据，每个Put有唯一的ROWKEY
Put put = new Put(Bytes.toBytes(“33404951”)); //创建ROWKEY为33404951的PUT
byte[] family = Bytes.toBytes(“info”);
put.addColumn(family,Bytes.toBytes(“bicycleId”), Bytes.toBytes(String.valueOf(5996)));//在列族info中,增加字段名称为bicycleId，值为5996的元素
put.addColumn(family,Bytes.toBytes(“departure”), Bytes.toBytes(“韩庄村北782米”));//在列族info中,增加字段名称为departure，值为韩庄村北782米的元素
puts.add(put);
HBaseUtil.putByTable(“t_shared_bicycle”,puts);//批量保存数据到t_shared_bicycle
编程要求
根据提示，在右侧编辑器Begin-End中补充savaBicycleData方法，完成如下操作：

创建拥有列族info的表t_shared_bicycle；
将唯一骑行trip_id设为表的ROWKEY；
将出发地 = 目的地或者目的地 = 所在城市的无效数据清除；
把文件dataResources.xls中相应的数据存到Hbase表t_shared_bicycle中。
t_shared_bicycle表结构如下

列族名称 字段 对应的文件的描述 ROWKEY （格式为：骑行id）
info beginTime 开始时间 trip_id
info endTime 结束时间 trip_id
info bicycleId 车辆id trip_id
info departure 出发地 trip_id
info destination 目的地 trip_id
info city 所在城市 trip_id
info start_longitude 开始经度 trip_id
info stop_longitude 结束经度 trip_id
info start_latitude 开始纬度 trip_id
info stop_latitude 结束纬度 trip_id
提示：注意使用try-catch将无效数据或非法数据进行抛出。

测试说明
平台会对你编写的代码进行测试，数据量较大，评测时间可能较长，请耐心等待：

测试输入：37785165
预期输出：
rowCount–>331850
info:beginTime 1501500120000
info:bicycleId 6280
info:city 河北省保定市雄县
info:departure 东方红家园西南121米
info:destination 沙辛庄村南940米
info:endTime 1501500840000
info:start_latitude 116.13826
info:start_longitude 39.144981
info:stop_latitude 116.13237
info:stop_longitude 39.13525

说明：由于数据过多，我们将输出ROWKEY为37785165的信息。

开始你的任务吧，祝你成功！
示例代码如下：

package com.educoder.savedata;
import java.io.InputStream;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import org.apache.commons.lang3.time.FastDateFormat;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;
import com.educoder.util.HBaseUtil;
/* 
* 读取共享单车城市行车数据
* 
*/
public class SaveData {public static void SaveBicycleData()  throws Exception {/******** **   Begin   ******* ***/HBaseUtil.createTable("t_shared_bicycle", "info");InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("dataResources.xls");Workbook workbook = WorkbookFactory.create(resourceAsStream);Sheet sheet = workbook.getSheetAt(0);int rows = sheet.getPhysicalNumberOfRows();List<Put> puts = new ArrayList<Put>();for (int n = 1; n < rows; n++) {// 通过异常方式清除格式不准确、数据不存在的无效行try {Row row = sheet.getRow(n);// 唯一骑行id,当作行rowkeyDecimalFormat formatter1 = new DecimalFormat("########");String trip_id = formatter1.format(row.getCell(0).getNumericCellValue());Put put = new Put(Bytes.toBytes(trip_id));byte[] family = Bytes.toBytes("info");// 开始时间FastDateFormat instance = FastDateFormat.getInstance("MM/dd/yyyy HH:mm");String beginTimeValue = row.getCell(1).getStringCellValue();Date parse = instance.parse(beginTimeValue);put.addColumn(family, Bytes.toBytes("beginTime"), Bytes.toBytes(String.valueOf(parse.getTime())));// 结束时间String endTimeValue = row.getCell(2).getStringCellValue();Date parse2 = instance.parse(endTimeValue);put.addColumn(family, Bytes.toBytes("endTime"), Bytes.toBytes(String.valueOf(parse2.getTime())));// 单车识别码int bicycleId = (int)row.getCell(3).getNumericCellValue();put.addColumn(family, Bytes.toBytes("bicycleId"), Bytes.toBytes(String.valueOf(bicycleId)));// 出发地String departure = row.getCell(4).getStringCellValue();put.addColumn(family, Bytes.toBytes("departure"), Bytes.toBytes(departure));// 目的地String destination = row.getCell(5).getStringCellValue();put.addColumn(family, Bytes.toBytes("destination"), Bytes.toBytes(destination));// 所在城市String city = row.getCell(6).getStringCellValue();put.addColumn(family, Bytes.toBytes("city"), Bytes.toBytes(city));// 清除目的地 = 所在城市 或者 出发地 = 目的地 的无效数据if (destination.equals(city)|| departure.equals(destination) ) {continue;}//开始经度DecimalFormat formatter2 = new DecimalFormat("###.######");String start_longitude = formatter2.format(row.getCell(7).getNumericCellValue());put.addColumn(family, Bytes.toBytes("start_longitude"), Bytes.toBytes(String.valueOf(start_longitude)));//开始纬度String start_latitude = formatter2.format(row.getCell(8).getNumericCellValue());put.addColumn(family, Bytes.toBytes("start_latitude"), Bytes.toBytes(String.valueOf(start_latitude)));//结束经度String stop_longitude = formatter2.format(row.getCell(9).getNumericCellValue());put.addColumn(family, Bytes.toBytes("stop_longitude"), Bytes.toBytes(String.valueOf(stop_longitude)));//结束纬度String stop_latitude = formatter2.format(row.getCell(10).getNumericCellValue());put.addColumn(family, Bytes.toBytes("stop_latitude"), Bytes.toBytes(String.valueOf(stop_latitude)));puts.add(put);} catch (Exception e) {}}HBaseUtil.putByTable("t_shared_bicycle", puts);/****** ****   End   ****** ****/}
}

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/307391.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

FindMy技术用于遥控器

FindMy技术用于遥控器

遥控器已经悄然成为我们生活中的常客。无论是控制电视机的开关&#xff0c;调整音量&#xff0c;切换频道&#xff0c;还是控制空调的温度&#xff0c;调节灯光亮度&#xff0c;甚至远程操控智能家居设备&#xff0c;遥控器都为我们提供了极大的便利。 将遥控器与FindMy技术相结…
阅读更多...
信号与线性系统翻转课堂笔记16——离散LTI系统的各类响应

信号与线性系统翻转课堂笔记16——离散LTI系统的各类响应

信号与线性系统翻转课堂笔记16——离散LTI系统的各类响应 The Flipped Classroom16 of Signals and Linear Systems 对应教材&#xff1a;《信号与线性系统分析&#xff08;第五版&#xff09;》高等教育出版社&#xff0c;吴大正著 一、要点 &#xff08;1&#xff0c;重点…
阅读更多...
AI赋能金融创新：技术驱动的未来金融革命

AI赋能金融创新：技术驱动的未来金融革命

人工智能&#xff08;AI&#xff09;作为一种技术手段&#xff0c;正逐渐改变金融行业的方方面面。从风险管理到客户体验&#xff0c;从交易执行到反欺诈&#xff0c;AI带来了许多创新和机遇。本文将探讨AI在金融领域的应用和其赋能的金融创新。 金融领域一直以来都面临着复杂的…
阅读更多...
如何使用Pyxamstore快速解析Xamarin AssemblyStore文件

如何使用Pyxamstore快速解析Xamarin AssemblyStore文件

关于Pyxamstore Pyxamstore是一款针对Xamarin AssemblyStore文件&#xff08;assemblies.blob&#xff09;的强大解析工具&#xff0c;该工具基于纯Python 2.7开发&#xff0c;支持从一个APK文件中解包并重封装assemblies.blob和assemblies.manifest Xamarin文件。 什么是ass…
阅读更多...
Spring高手之路-@Autowired和@Resource注解异同点

Spring高手之路-@Autowired和@Resource注解异同点

目录 相同点 不同点 1.来源不同。 2.包含的属性不同 3.匹配方式&#xff08;装配顺序&#xff09;不同。 ​编辑 4.支持的注入对象类型不同 5.应用地方不同 相同点 都可以实现依赖注入&#xff0c;通过注解将需要的Bean自动注入到目标类中。都可以用于注入任意类型的Bean…
阅读更多...
Linux开发工具——gdb篇

Linux开发工具——gdb篇

Linux下调试工具——gdb 文章目录 makefile自动化构建工具 gdb背景 gdb的使用 常用命令 总结 前言&#xff1a; 编写代码我们使用vim&#xff0c;编译代码我们使用gcc/g&#xff0c;但是我们&#xff0c;不能保证代码没问题&#xff0c;所以调试是必不可少的。与gcc/vim一样&…
阅读更多...
【连接池】-从源码到适配（下），使用dynamic-datasource导致连接池没生效（升级版本）

【连接池】-从源码到适配（下），使用dynamic-datasource导致连接池没生效（升级版本）

写在前面 书接上文&#xff0c;连接池没生效&#xff0c;启用了一个什么默认的连接池。具体是什么&#xff0c;一起来看看源码吧。 目录 写在前面一、问题描述二、本地调试三、升级dynamic-datasource四、新的问题&#xff08;一&#xff09;数据源初始化问题&#xff08;二&am…
阅读更多...
ubuntu20部署Bringing-Old-Photos-Back-to-Life

ubuntu20部署Bringing-Old-Photos-Back-to-Life

环境准备&#xff1a; ubuntu20.04 Python 3.8.10 首先将微软的「Bringing-Old-Photos-Back-to-Life」库 clone 到本地&#xff1a; git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git cd Face_Enhancement/models/networks/ git clone https:/…
阅读更多...
在Ant Design Vue（v1.7.8）a-table组件中实现余额自动计算

在Ant Design Vue（v1.7.8）a-table组件中实现余额自动计算

一、目标 在Ant Design Vue <a-table>表格中实现余额自动计算&#xff0c;公式为&#xff1a;剩余量 库存量 - 消耗量 二、二次开发基础 现有一个使用Ant Design Vue <a-table>表格的开源项目&#xff0c;原始表格有“消耗量”列&#xff0c;且带输入框&#xf…
阅读更多...
【Maven】＜scope＞provided＜/scope＞

【Maven】＜scope＞provided＜/scope＞

在Maven中&#xff0c;“provided”是一个常用的依赖范围&#xff0c;它表示某个依赖项在编译和测试阶段是必需的&#xff0c;但在运行时则由外部环境提供&#xff0c;不需要包含在最终的项目包中。下面是对Maven scope “provided”的详细解释&#xff1a; 编译和测试阶段可用…
阅读更多...
自定义docker镜像，ubuntu安装命令并导出

自定义docker镜像，ubuntu安装命令并导出

文章目录 问题现象解决步骤相关命令详细介绍docker save 与 docker loaddocker import 与 docker exportdocker commit 问题现象 我们的通讯服务&#xff0c;需要监测前端设备的在线情况&#xff08;是否在线、丢包率、延迟等&#xff09;&#xff0c;使用ping命令去实现此功能…
阅读更多...
GBASE南大通用-Base 8a集群同步工具超详细指南 手把手带您玩转灾备

GBASE南大通用-Base 8a集群同步工具超详细指南 手把手带您玩转灾备

1工具介绍 GBase 8a集群间同步工具是基于集群的底层二进制数据同步的工具&#xff0c;其同步的对象是库内的数据&#xff0c;通过解析、对比智能索引中摘要信息的变化&#xff0c;来实现同构集群的同构表的数据复制功能&#xff0c;目前已经支持图形化操作&#xff0c;主要功能…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023