Hive:从HDFS回收站恢复被删的表

场景
一张手工维护的内部表,本来排查没有使用,然后删掉了,发现又需要使用,只能恢复这张表了。

1.确认HDFS是否开启回收站功能

在这里插入图片描述

2.查看回收站中的数据

被删除的数据会放在删除数据时使用的用户目录下,如:使用pgxl删除的,那么删除的数据会放在如下目录:

/user/pgxl/.Trash

该目录下会有多个文件夹,每小时删除的数据放在不同文件夹下,目录如下:
在这里插入图片描述
在这里插入图片描述

3.将回收站的数据移动回表目录下

hive表数据存放的具体位置得看项目中hive的配置,默认放在/user/hive/warehouse下。公司生成环境放在/data下。

[pgxl@tjst8-109 ~]$ hdfs dfs -mv /user/pgxl/.Trash/231130080017/data/hive/warehouse/wedw_dw.db/yyf_styy_txynhis_record_settle_bill_detail_df/* /data/hive/warehouse/wedw_dw.db/yyf_styy_txynhis_record_settle_bill_detail_df/

4.将metastore的分区信息重新写入metastore

通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中是无法被查询到的,因为这部分数据的元数据信息没有同步到metastore。如:

spark-sql> select count(1) from wedw_dw.yyf_styy_txynhis_record_settle_bill_detail_df;
0

可使用MSCK REPAIR TABLE命令重新检查一张表的元数据信息。

spark-sql> msck repair table wedw_dw.yyf_styy_txynhis_record_settle_bill_detail_df;

再次查询即可查到数据:

spark-sql> select count(1) from wedw_dw.yyf_styy_txynhis_record_settle_bill_detail_df;
1323423

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/234078.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2023年掌控安全学院CTF暖冬杯——数据流分析

前言:打工仔一枚,第一波上新的3题misc 做完了 再打ISCTF随便记录一下 PS:环境关了,题目描述忘记了,反正就是找flag。 筛选HTTP数据流 导出数据流慢慢看 ctrl F 搜flag 看到一条 有flag.txt 的数据 导出另存.zip 这里…

Git提示 Connection closed by remote host

问题如下图: 解决: 删除./ssh目录下的config文件,如下图config文件是新增的 原因:不知道什么原因,连接外网后突然断开或导致自动增加config文件。

FPGA驱动CS4344 VHDL例程

CS4344是一款非常简单的I2S立体声24bit D/A芯片,采样率高达192KHz,相对于ADAU1761复杂的寄存器配置来说,CS4344非常友好,无需配置寄存器,只要按I2S时序输入数据,即可实现立体声输出,且10PIN TSS…

数据挖掘实战-基于word2vec的短文本情感分析(文末送书)

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

12月7-8日泰国曼谷,Flat Ads与你相约Affilliate World Asia

12月7-8日,Flat Ads将参加在泰国曼谷举办的Affiliate World Asia Conference,与众多行业人士共话全球流量领域新洞察,探讨行业现状与未来趋势。 据悉,Affiliate World Asia(以下简称AWA)是全球瞩目的移动互联网联盟超级盛会,也是亚洲区域内最大规模的互联网流量大会。这一展会为…

面试题:说一下MyBatis动态代理原理?

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 1.MyBatis简介2.使用步骤2.1、引入依赖2.2、配置文件2.3、接口定义2.4、加载执行 3.原理解析 1.MyBatis简介 MyBatis是一个ORM工具,封装了JDBC的操作&a…

机器学习入门(第四天)——朴素贝叶斯

知识树 Knowledge tree P(y|x),P给定x的条件下,y的概率。如:P(y我招女孩子喜欢的概率|我是学生) 一个小故事 A story 女朋友和妈妈掉河里,路人拿出3颗豆,两颗红豆1颗绿豆。如果我抽中红豆救女朋友,抽中绿…

安防监控系统的工作原理是什么?具体包含哪些组成部分?

关于安防监控系统,大家熟知的就是监控系统平台,其实不然,智能视频安防监控系统涵盖的内容非常多,今天小编就和大家一起来探讨一下。 安防监控视频系统主要分为以下7大类: 1、 摄像头采集图像 安防监控系统通常使用摄…

python 交互模式和命令行模式的问题

python 模式的冲突 unexpected character after line continuation character 理论上 ide里,输入 python 文件路径\文件.py 就可以执行 但是有时候却报错 unexpected character after line continuation character 出现上述错误的原因是没有退出解释器&#x…

采购业务中的组织概述

目录 一、采购和库存管理中组织单位的概览二、企业的组织结构三、采购中组织结构3.1采购组织3.2采购组 一、采购和库存管理中组织单位的概览 1、 客户端:在SAP ERP系统中,客户端通过三位数字定义,并代表这独立的数据记录和独立的业务流程。客…

Vue3 刷新后,pinia存储的数据丢失怎么解决

这个问题有两种解决办法: 一是使用pinia的持久化存储一是使用vue的依赖注入 刷新后,通过pinia存储的vue store数据丢失,实际上是因为Vue原组件卸载、新组件重新挂载导致的,vue store是挂载在组件上的,当刷新导致组件…

算法通关村第十八关青铜挑战——透析回溯的模板

大家好,我是怒码少年小码。 回溯是最重要的算法思想之一,主要解决一些暴力枚举也搞不定的问题(组合、子集、分割、排列、棋盘等等)。性能并不高,但是哪些暴力枚举都无法ko的问题能解出来就可以了🤣。 这一…