通过MySQL删除Hive元数据信息

之前遇到过一个问题,在进行Hive的元数据采集时,因为Hive表的文件已经被删除了,当时是无法删除表,导致元数据采集也发生了问题,所以希望通过删除Hive表的元数据解决上述问题。

之前安装时,经过特定的配置后,Hive上所有元数据均保存在Mysql中,所以可以从Mysql上删除表相关信息即可删除hive表,而且不会影响Hdfs上数据。

解决方法:

1、Hive在Mysql上的相关元数据表关系图:

 2、先在Mysql中建存储过程:

DELIMITER $$
ROLLBACK;
DROP PROCEDURE IF EXISTS P_TBL_DATA_DEL$$
CREATE PROCEDURE P_TBL_DATA_DEL(i_tbl_name varchar(100) -- 表id
,out o_outcode integer  -- 输出代码
,out o_outmsg  varchar(500) --输出信息
COMMENT'从mysql数据库中制除Hive的元数据信息'
label_prot:
BEGIN/*====================================================================** 存储名称: 从MySQL数据库中删除Hive元数据                            ** 文件名称: P_TBL_DATA_DEL.sql                                       ** 调用示例:call P_TBL_DATA_DEL(tablename,@o_outcode,@o_outmsg);     **====================================================================*/
-- 自定义变量
DECLARE v_sd_id    int;
DECLARE v_part_id  int;
DECLARE v_cd_id    int;
DECLARE v_serde_id int;
DECLARE v_tbl_id   int;
DECLARE v_tbl_name varchar(100) ;
-- 异常声明
DECLARE EXIT HANDLER FOR SQLEXCEPTION
BEGIN
SET o_outcode = -1;
SET o_outmsg  ='failuro';
END;
-- 初始化变量
IF
i_tbl_name IS NOT NULL THEN
SET v_tbl_name = i_tbl_name;
ELSE  -- 否则默认赋值0
SET v_tbl_name = 0;
END IF;
-- START TRANSACTION
-- todo begin
-- 根据表名获取表ID
select TBL_ID into v_tbl_id from tbls where TBL_NAME = v_tbl_name;
-- 根据表ID获取存储配置ID(SDS.SD_ID)
select SD_ID into v_sd_id from tbls where TBL_ID = v_tbl_id;
-- 根据表ID获取分区ID(PARTITIONS.part_id)
select part_id into v_part_id from partitions where tbl_id = v_tbl_id:
-- 根据存储配置ID获取表字段信息和序列化类配置ID
select cd_id,serde_id into v_cd_id,v_serde_id from sds where sd_id = v_sd_id;
-- 册除表属性信息数据
delete from table_params where tbl_id = v_tbl id;
-- 删除表信息数据
delete from tbls where tbl_id = v_tbl_id;
-- 删除文件存储的基本信息数据
delete from sds where sd_id = v_sd_id;
-- 删除序列化属性信息数据
delete from serde_params wheras serde_id = v_serde_id;
-- 删除存储序列化使用的类信息数据
delete from serdes where serde_id = v_sd_id;
-- 删除表的字段信息
delete from colum ms_v2 where cd_id = v_cd_id;
-- 判断是否v_part_id值是否为空,如果不为空,表示分区属性和表分区字段值表有值,进行删除
IF v_part_id IS NOT NULL THAN
-- 删除分区属性信息
delete from partition_params where part_id = v_part_id;
-- 删除分区字段值表数据
delete from partition_key_vals where par_id = v_part_id;
END IF;
-- 删除分区信息数据
delete from partitions where tbl_id = v_tbl_id;
-- 删除分区字段信思
delete from partition_keys where tbl_id = v_tbl_id;-- 处理成功后的返回值
SET o_outcode = 0;
SET o_outmsg='succe';
END
$$
DELIMITER;

2、备份Hive的元数据库;

3、删除备份表的外键信息;

4、执行存储过程,即:

call P_TBL_DATA_DEL (‘需要删除的表英文名’,@o_outcode,@o_outmsg);

5、将删除的外键添加回去;

6、验证表hive中表是否还存在,即是否删除成功。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/52922.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cocos creator(2d) 使用 shader + uv 实现单张图片衔接滚动效果

在游戏中,当我们需要让背景图片无缝衔接无限滚动时(打飞机这种背景一直滚动,或者肉鸽游戏地图一直在走等等),通常的做法是 在游戏中放两个背景node,在update中控制这两张背景图片的移动,并让其收尾衔接即可。(具体代码…

【LeetCode 75】第十七题(1493)删掉一个元素以后全为1的最长子数组

目录 题目: 示例: 分析: 代码运行结果: 题目: 示例: 分析: 给一个数组,求删除一个元素以后能得到的连续的最长的全是1的子数组。 我们可以先单独统计出连续为1的子数组分别长度…

在线五子棋对战

目录 数据管理模块(数据库设计) 前端界面模块 业务处理模块 会话管理模块网络通信模块(session,cookie) 在线管理模块 房间管理模块 用户匹配模块 项目扩展 数据管理模块(数据库设计) 数据库中有可能存在很多张表&#xf…

【深度学习】在 MNIST实现自动编码器实践教程

一、说明 自动编码器是一种无监督学习的神经网络模型,主要用于降维或特征提取。常见的自动编码器包括基本的单层自动编码器、深度自动编码器、卷积自动编码器和变分自动编码器等。 其中,基本的单层自动编码器由一个编码器和一个解码器组成,编…

元素2D转3D 椭圆形旋转实现

椭圆旋转功能展示 transform-style: preserve-3d;(主要css代码) gif示例(背景图可插入透明以此实现边框线的旋转) 导致的无法点击遮挡问题可以参考我的另一个文章 穿透属性-----------------------css穿透属性 实时代码展示

11.物联网操作系统内存管理

一。STM32编译过程及程序组成 STM32编译过程 程序的组成、存储与运行 MDK生成的主要文件分析 1.STM32编译过程 1.源文件(Source code)--》目标文件(Object code) .c(C语言)通过armcc生成.o,.s(汇编&…

SQL Server安装配置

又得装数据库...头秃 报错 其他信息: 在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。未找到或无法访问服务器。请验证... 1是可能主机名不一致导致的,这种换主机名,二是没开sql 服务。 第二种先打开SQL Server 资源配置管理器 打…

SpringBoot + ajax 实现分页和增删查改

0目录 1.SpringBoot 2.SpringBoot分页;增删改查 1.SpringBoot分页 创建数据库和表 创建SpringBoot工程,引入springboot下的分页依赖 配置application.yml 实体类 Mapper接口 Mapper.xml Service接口 Service实现类 控制层 测试 加…

图像 分割 - Fast-SCNN: Fast Semantic Segmentation Network (arXiv 2019)

Fast-SCNN: Fast Semantic Segmentation Network - 快速语义分割网络(arXiv 2019) 摘要1. 引言2. 相关工作2.1 语义分割的基础2.2 DCNN的效率2.3 辅助任务预训练 3. 提议的Fast-SCNN3.1 动机3.2 网络架构3.2.1 学习下采样3.2.2 全局特征提取器3.2.3 特征…

关于docker的一些深入了解

本文将深入介绍一下docker方面的知识,不尽完全,慢慢完善。 进程 进程的概念 在介绍docker的相关知识前,先了解一下相关概念。进程就是系统中正在运行的程序,进程是操作系统的概念,每当我们执行一个程序时&#xff0…

ardupilot 中坐标变换矩阵和坐标系变换矩阵区别

目录 文章目录 目录摘要1.坐标变换矩阵与坐标系变换矩阵摘要 本节主要记录ardupilot 中坐标变换矩阵和坐标系变换矩阵的区别,这里非常重要,特别是进行姿态误差计算时,如果理解错误,很难搞明白后面算法。 1.坐标变换矩阵与坐标系变换矩阵 坐标变换矩阵的本质含义:是可以把…

【Leetcode】(自食用)树的中序遍历(递归+栈非递归)

step by step. 题目: 给定一个二叉树的根节点 root ,返回 它的 中序 遍历 。 示例 1: 输入:root [1,null,2,3] 输出:[1,3,2]示例 2: 输入:root [] 输出:[]示例 3: 输入…