实现hive的bitmap同步到doris

news/2024/12/17 10:23:38/文章来源:https://www.cnblogs.com/niutao/p/18611783

背景:

官方提供的方案不可行

doris提供的hive-udf中:https://doris.apache.org/zh-CN/docs/3.0/ecosystem/hive-bitmap-udf

 官网方式如下:

 需要使用doris外接hive的元数据地址:hive.metastore.uris

这里有个问题是,很多公司都会有数据安全和权限控制,这个接口一般不会外露。所以官网的方案行不通

解决方式:

依然需要使用doris,同时观察doris支持bitmap_from_bash64

那么我们在doris提供给hive的udf中添加:hive的bitmap转base64. 这样数据通过base64字符串的方式写入到doris,在doris中直接可转化回bitmap数据。 性能不会受到影响

具体代码:

https://github.com/apache/doris/pull/45231

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/854214.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

一款可以完整保留排版的PDF翻译,GitHub增长第一

最近看论文较多,顺手给大家推荐一个用下来觉得不错的开源PDF翻译工具:PDFMathTranslate 目前这款开源项目在GitHub上已经收获了7.6K Star,而且由于一直处于增长趋势榜第一的位置,预计未来还会持续增长许多。 PDFMathTranslate 简介开源项目地址:https://github.com/Byaidu…

在 IIS 中发布网站,使用 PUT、DELETE 等请求方法时,提示错误:HTTP 错误 405.0 - Method Not Allowed

搜了一圈,发现是因为安装了 IIS 的 WebDAV 功能,就会导致站点出现此类问题 一种方法是移除 WebDAV 功能,但比较费时费力 另一种就是在站点的 Web.config 中显式移除 WebDAV 模块 配置文件: <configuration><system.webServer><modules><!-- 移除模块 …

如何用python批量转换.doc文件为.docx文件

需要用到的库: pywin32、os实现效果: 把文件夹下的文件1.doc、2.doc、3.doc 转化成1.docx、2.docx、3.docx,保存到output文件夹下。 代码运行前: 代码运行后: 实现代码:# 批量把".doc"文件另存在".docx"文件import osfrom win32com import clientde…

数据分布检验利器:通过Q-Q图进行可视化分布诊断、异常检测与预处理优化

在机器学习和数据分析中,我们经常需要验证数据是否符合某种特定的分布(如正态分布)。这种验证对于选择合适的统计方法和机器学习模型至关重要。例如许多统计检验和机器学习算法都假设数据服从正态分布。如果这个假设不成立,我们可能需要对数据进行转换或选择其他更适合的方…

修改jar包中的class文件,重新打包成jar(原MANIFEST.MF保持不变)

不使用ide(如idea,eclipse)版 修改jar包中的class文件,重新打包成jar(原MANIFEST.MF保持不变)1:把待修改的jar包放入jd-gui,找到待修改的class文件 2:找到对应的文件ctrl+s保存,把待调整的.class转为.java 3:修改java文件中的对应代码 4.把需要的jar包放在同一个目…

Bootstrap多级下拉菜单插件

bootstrap-submenu是一款在原生bootstrap Dropdowns组件的基础上进行扩展,可以生成多级子菜单的多级下拉菜单插件。 原生的bootstrap下拉菜单只有一层,通过bootstrap-submenu插件,可以生成多级子菜单。在线预览 下载安装 可以通过npm和bower来安装bootstrap-submenu插件。$ …

Shenzi pg walkthrough Intermediate window

nmap └─# nmap -p- -A -sS -T5 192.168.218.55 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-12-16 23:45 UTC Stats: 0:00:02 elapsed; 0 hosts completed (1 up), 1 undergoing SYN Stealth Scan SYN Stealth Scan Timing: About 0.97% done Stats: 0:00:03 elapse…

适配信创环境的国产FTP替代软件,让数据传输更环保高效!

文件传输协议(FTP),诞生于1971年,自20世纪70年代发明以来,FTP已成为传输大文件的不二之选。内置有操作系统的 FTP 可提供一个相对简便、看似免费的文件交换方法,因此得到广泛使用。但随着技术的发展和企业对于文件传输的需求日益增长,传统FTP协议由于其在安全性、传输效…

跨域文件管控新方案,让数据管理变得简单而高效!

随着经济的快速发展,越来越多的企业规模不断扩大,并在异国、异地设立分支机构。这些分支机构与企业总部之间需要进行频繁的文件传输和数据交换,以支持企业的日常运营和决策。由于分支机构可能位于不同的地理位置、拥有不同的网络环境和组织架构,因此跨域文件管控传输成为了…

服务器性能测试利器之sysbench

目录前言 特征 安装 测试 回到顶部 前言 sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具,可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。sysbench是基于LuaJIT的可编写脚本的多线程基准测试工具。sysbench附带以下捆绑的基准测试:oltp_*.lua:类似…

知识付费源码-知识付费平台全面升级

来自www.tuzhi.ltd在当今社会快速发展的背景下,教育和软件行业正经历一次巨大的革新。随着数字化转型浪潮推动下,在线教育和知识付费模式的广泛应用已经成为推动教育资源分配均衡和个性化学习需求满足的重要力量。其中,知识付费在线教育系统的崛起不仅优化了传统教学的组织和…

双语对照的 PDF 翻译工具「GitHub 热点速览」

在 OpenAI 举办的「12天12场」发布会上,ChatGPT 的多项新功能正式亮相,包括 GPT-o1 正式版和 ChatGPT Pro(200 美元/月)、强化微调(Reinforcement Fine-Tuning)、Sora(视频生成)、增强版 Canvas(支持多模态创作与 Python 代码执行)、ChatGPT 扩展功能、ChatGPT Visio…