AnalyticDB for PostgreSQL 实时数据仓库上手指南

AnalyticDB for PostgreSQL 实时数据仓库上手指南

2019-04-016601

版权

本文涉及的产品

云原生数据仓库 ADB PostgreSQL,4核16G 50GB 1个月

推荐场景:

构建的企业专属Chatbot

立即试用

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景

scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:

arch

开通实例:
如何在AnalyticDBPostgreSQL版控制台上创建实例_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

客户端:
客户端如何连接云原生数据仓库AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

产品文档:
ADB for PG 产品文档:快速掌握AnalyticDBPostgreSQL实例的创建,连接,开发和运维_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

常用操作
实例规格选型指导:如何选择云原生数据仓库AnalyticDBPostgreSQL版实例规格_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表规划和设计指导:如何创建和约束数据库中的表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
性能调优指导:不同操作场景下使用AnalyticDBPostgreSQL的性能优化指导_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
建表语法:VMware Greenplum Documentation
列存压缩(压缩比3到10倍):如何使用AnalyticDBforPostgreSQL列存和压缩功能_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
分区键选择:AnalyticDBPostgreSQL版如何选择表分布策略_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
表分区(支持数字和日期类型上的多级分区):
如何定义分区表_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
VMware Greenplum Documentation

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:AnalyticDBPostgreSQL版支持哪些数据写入方式_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

数据导入与同步:
数据同步和迁移方法总结:数据迁移及同步方案综述_云原生数据仓库 AnalyticDB PostgreSQL版-阿里云帮助中心
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:如何将数据从RDSMySQL版同步至AnalyticDBPostgreSQL版_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
数据集成DataX 按小时/天同步数据到 ADB for PG:如何通过DataWorks完成表级数据迁移_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心
ADB for PG OSS 外部表文档:如何使用OSS外表高速导入数据至AnalyticDBPostgreSQL_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度-阿里云开发者社区

PostGIS 进行地理信息分析
使用PostGIS进行时空分析及典型使用场景_云原生数据仓库AnalyticDB PostgreSQL版-阿里云帮助中心

社区文档:
ADB for PG 社区官方手册:VMware Greenplum Documentation
MADlib SQL机器学习库:Apache MADlib

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/210351.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JS PromiseLike 的判定与使用

目录 一. $.ajax()返回值遇到的问题二. Promise A 规范三. 判断是否为PromiseLike3.1 判断ES6的new Promise()3.2 判断包含then方法的对象3.3 判断$.ajax()返回的对象 一. $.ajax()返回值遇到的问题 当我们执行如下js代码时,可以看到$.ajax()执行后,得到…

Unity收费对谁影响最大

Unity的收费政策对以下几类人群影响最大: 游戏开发商:Unity收费政策中最直接的影响对象就是游戏开发商。对于那些使用Unity引擎制作游戏的开发商来说,他们将需要考虑新的许可证费用和服务费用,这可能会对他们的盈利和发展产生影响…

【分子指纹】化学分子指纹的概念和应用

Drug Discov Today|化学分子指纹的概念和应用 2022年9月13日,哈尔滨医科大学药物基因组信息学教研室陈秀杰教授、哈尔滨医科大学生物信息科学与技术学院解洪波副教授团队在期刊Drug Discovery Today上发表论文“Concepts and applications of chemical fi…

计算机网络之运输层

一、概述 物理层、数据链路层以及网络层它们共同解决了将主机通过异构网络互联起来所面临的的问题,实现了主机到主机的通信 但实际上在计算机网络中进行通信的真正实体是位于通信两端主机中的进程 如何为运行在不同主机上的应用进程提供直接的通信服务时运输层的任务…

GoLand 2023.2.5(GO语言集成开发工具环境)

GoLand是一款专门为Go语言开发者打造的集成开发环境(IDE)。它能够提供一系列功能,如代码自动完成、语法高亮、代码格式化、代码重构、代码调试等等,使编写代码更加高效和舒适。 GoLand的特点包括: 1. 智能代码补全&a…

Grafana如何实现折线柱状图

程序员的公众号:源1024,获取更多资料,无加密无套路! 最近整理了一份大厂面试资料《史上最全大厂面试题》,Springboot、微服务、算法、数据结构、Zookeeper、Mybatis、Dubbo、linux、Kafka、Elasticsearch、数据库等等 …

配电室智慧运维

配电室智慧运维是一种基于先进技术和智能化管理理念的配电室运维模式。依托电易云-智慧电力物联网,它结合云计算、物联网、大数据等技术,对配电室进行全方位的智能化管理和运维,旨在提高配电室的运行效率、安全性和可靠性。 配电室智慧运维的…

MDK AC5和AC6是什么?在KEIL5中添加和选择ARMCC版本

前言 看视频有UP主提到“AC5”“AC6”这样的词,一开始有些不理解,原来他说的是ARMCC版本。 keil自带的是ARMCC5,由于ARMCC5已经停止维护了,很多开发者会选择ARMCC6。 在维护公司“成年往事”项目可能就会遇到新KEIL旧版本编译器…

Dubbo引入Zookeeper等注册中心简介以及DubboAdmin简要介绍,为后续详解Dubbo各种注册中心做铺垫!

文章目录 一:Dubbo注册中心引言 1:什么是Dubbo的注册中心? 2:注册中心关系图解 3:引入注册中心服务执行流程 4:Dubbo注册中心好处 5:注册中心核心作用 二:注册中心实现方案 …

【Pytorch】Visualization of Feature Maps(3)

学习参考来自: Image Style Transform–关于图像风格迁移的介绍github:https://github.com/wmn7/ML_Practice/tree/master/2019_06_03 文章目录 风格迁移 风格迁移 风格迁移出处: 《A Neural Algorithm of Artistic Style》(ar…

RTT打印在分区跳转后无法打印问题

场景: RTT打印仅占用JLINK的带宽,比串口传输更快更简洁,同时RTT可以使用jscope对代码里面的变量实时绘图显示波形,而采用串口打印波形无法实时打印。同时可以保存原始数据到本地进行分析,RTT在各方面完胜串口。 问题描…