【详细版】基于AWS EC2使用Docker安装部署Superset v2.0

文章目录

    • 1. SuperSet介绍
    • 2. 实验说明
    • 3. 实验配置
    • 4. SSH连接云实例
    • 5. 系统版本查看
    • 6. 主机名映射
    • 7. Docker安装
    • [可选] Docker Compose安装
    • 8. 安装superset
    • 9. 初始化superset容器
    • 10. 为superset加入连接Athena需要的依赖
    • 11. 为superset准备一个具有权限的IAM用户
    • 12. 添加此IAM用户的权限策略
    • 13. 登录Superset控制面板
    • 14. 使用superset与Athena连接
    • 15. 导入数据集
    • 16. 制作Charts
    • 17. 开启并嵌入仪表盘Dashboard
    • 18. 常见报错问题
    • 19. 参考链接

1. SuperSet介绍

image-20231128174832251

Apache Superset是一个开源的数据可视化和数据探索工具，它可以帮助用户通过创建交互式仪表板来探索和呈现数据。Superset最初由Airbnb开发，后来成为Apache软件基金会的一个孵化项目，目前是Apache顶级项目之一。

以下是Apache Superset的一些关键特点和功能：

  1. 数据连接：Superset支持多种不同类型的数据源，包括关系型数据库（如MySQL、PostgreSQL、SQL Server）、NoSQL数据库（如MongoDB）、云服务（如Amazon Redshift、Google BigQuery）以及文件格式（如CSV、Excel等）。

  2. 仪表板创建：用户可以使用Superset创建交互式仪表板，将数据可视化呈现为各种图表类型，包括柱状图、折线图、饼图、地图、热力图等。

  3. 数据探索：Superset提供了一个探索功能，允许用户探索和分析数据，执行数据切片和切块操作，以便更深入地了解数据。

  4. 自定义查询：用户可以使用SQL或图形化界面创建自定义查询，并将结果可视化为图表。

  5. 安全性：Superset提供了许多安全性功能，包括身份验证和授权，以确保只有授权的用户可以访问敏感数据。

  6. 集成：Superset可以与其他工具和平台集成，如Apache Druid、Apache Kafka、以及各种BI工具和数据存储系统。

  7. 社区支持：由于Superset是一个开源项目，它有一个活跃的社区，不断更新和改进软件，提供文档和支持。

总的来说，Apache Superset是一个功能强大的数据可视化和探索工具，可以帮助数据分析师、数据科学家和决策者更好地理解数据，从而做出更明智的决策。它的灵活性和可扩展性使其成为各种组织和项目的理想选择。

2. 实验说明

本实验是基于Amazon EC2实例，基于CentOS 7.9系统以Docker的安装方式，部署搭建Superset 2.0 版本。用于实现数据库接入、数据采集、数据图表制作、数据控制面板制作，数据可视化展示等相关功能。

3. 实验配置

云主机操作系统系统配置Docker版本Superset版本Superset访问端口
Amazon EC2CentOS 7.98C16GBv24.0.7v 2.08088

4. SSH连接云实例

ssh -i <密钥>  centos@<ip地址>

5. 系统版本查看

[root@superset ~]# cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

6. 主机名映射

$ sudo vim /etc/hosts
# 添加如下：
172.31.23.163   superset
52.82.109.114   superset
按:wq保存退出。

7. Docker安装

✨Docker安装参考链接：https://docs.docker.com/engine/install/centos/

  • 卸载旧版Docker
# Images, containers, volumes, and networks stored in /var/lib/docker/ aren't automatically removed when you uninstall Docker.
$ sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine
  • 安装Docker
# 安装yum-utils包（它提供yum-config-manager实用程序）
$ sudo yum install -y yum-utils# 设置存储库
$ sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo# 安装Docker Engine、containerd和Docker Compose
$ sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# 启动docker服务
$ systemctl start docker && systemctl enable docker
$ systemctl status docker#　查看docker信息
$ docker version
Client: Docker Engine - CommunityVersion:           24.0.7API version:       1.43Go version:        go1.20.10Git commit:        afdd53bBuilt:             Thu Oct 26 09:11:35 2023OS/Arch:           linux/amd64Context:           default

[可选] Docker Compose安装

# 安装
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-composesudo curl -L https://github.com/docker/compose/releases/download/v2.21.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose# 授权
sudo chmod +x /usr/local/bin/docker-compose# 添加环境变量并生效
$ sudo vim .bashrc
# 添加内容如下：
export PATH=/usr/local/bin:$PATH
按:wq保存退出即可。$ source .bashrc# 查看docker-compose版本
$ docker-compose version

8. 安装superset

# 从互联网下载Superset docker镜像
$ sudo docker pull amancevice/superset:2.0.0【此实验使用的是2.0版本】
amancevice/superset:1.4.2
amancevice/superset:2.0.0
amancevice/superset:3.0.0# 检查是否已经完成镜像的下载
$ sudo docker images
REPOSITORY            TAG       IMAGE ID       CREATED         SIZE
amancevice/superset   3.0.0     4988654f9c90   6 weeks ago     2.49GB
amancevice/superset   2.0.0     893d72bb0d3a   11 months ago   2.54GB# 启动superset容器
`$ sudo docker run -p 8088:8088 -d amancevice/superset:2.0.0`$ docker run -d --name superset -u root  -p 8088:8088 -v /opt/module/docker/superset/conf:/etc/superset -v /opt/module/docker/superset/data:/var/lib/superset amancevice/superset:2.0.0# 更新数据库
$ docker exec -it superset superset db upgrade# 创建superset管理员用户
$ docker exec -it superset superset fab create-admin# 初始化
$ docker exec -it superset superset init# 查看Superset容器运行状态
$ sudo docker psdocker exec -it superset superset run --with-threads --reload --debugger

image-20231116212911579
image-20231128150909087

9. 初始化superset容器

# 执行docker exec -it CONTAINERID superset-init
$ sudo docker exec -it superset superset-init
Username [admin]: admin
User first name [admin]: admin
User last name [user]: admin
Email [admin@fab.org]: admin
Password:
Repeat for confirmation:
logging was configured successfully

image-20231116221637568

10. 为superset加入连接Athena需要的依赖

# docker exec -it CONTAINERID pip install PyAthenaJDBC/PyAthena
$ sudo docker exec -it a00173a7f026 pip install PyAthenaJDBC
或
$ sudo docker exec -it superset pip install PyAthena# 重启系统生效
$ reboot

image-20231116222354827

至此，完成了Superset的安装和对接Athena的准备工作。

11. 为superset准备一个具有权限的IAM用户

开通此用户superset访问密钥。

image-20231117181352996

12. 添加此IAM用户的权限策略

AmazonAthenaFullAccess、AmazonS3FullAccess、AWSGlueConsoleFullAccess

image-20231117181318281

13. 登录Superset控制面板

image-20231128174540474
image-20231117181913552
image-20231117182136063

14. 使用superset与Athena连接

在添加数据库页面，需要填写Database名称，和SQLAlchemy URI，SQLAlchemy URI格式组成如下：

awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@athena.{region_name}.amazonaws.com.cn/{schema_name}?s3_staging_dir={s3_staging_dir}&…
  • {aws_access_key_id}:{aws_secret_access_key}是刚刚创建的IAM ASSK
  • {region_name}是Athena所在区域
  • {schema_name}是Glue中存放表元数据的数据库名称
  • {s3_staging_dir}是保存查询结果和记录的桶名称和路径（可以填写Athena结果保存路径，或是创建一个新的桶路径填在这里）

例如最终拼接出中国区域的连接地址示例：

awsathena+rest://AKIASJCHSJHN87DXD980:XXXXXXXXXX@athena.cn-northwest-1.amazonaws.com.cn/ml-data-lake?s3_staging_dir=s3://aws-athena-query-results-xx/

全球区域的连接地址示例：

awsathena+rest://AKIAT2RQT5XMNQINWOG7:xxxxxxxxxx@athena.us-east-2.amazonaws.com/ml-data-lake?s3_staging_dir=s3://tmp-263168716248/athena-output/

image-20231117181739941
image-20231117181642569

15. 导入数据集

image-20231119210512578

image-20231119210541391

16. 制作Charts

image-20231119212017940
image-20231128175458769
image-20231128175555197

17. 开启并嵌入仪表盘Dashboard

# 进入super容器
[root@superset ~]# docker images
REPOSITORY            TAG       IMAGE ID       CREATED         SIZE
amancevice/superset   2.0.0     893d72bb0d3a   11 months ago   2.54GB[root@superset ~]# docker ps
CONTAINER ID   IMAGE                       COMMAND                  CREATED      STATUS                    PORTS                                       NAMES
f7a2d51fe3aa   amancevice/superset:2.0.0   "gunicorn superset.a…"   3 days ago   Up 23 minutes (healthy)   0.0.0.0:8088->8088/tcp, :::8088->8088/tcp   superset[root@superset ~]# docker exec -it superset /bin/bash
root@f7a2d51fe3aa:/home/superset## 修改config.py配置文件
root@f7a2d51fe3aa:/home/superset# vim /usr/local/lib/python3.8/site-packages/superset/config.py# 若执行vim命令失效，安装即可。
apt-get update
apt-get install vimroot@f7a2d51fe3aa:/home/superset# vim /usr/local/lib/python3.8/site-packages/superset/config.py
将EMNEDDED_SUPWESET的值由"False"修改成"True"。# 重启Superset
$ sudo systemctl daemon-reload
$ sudo docker restart superset

image-20231128175155184

image-20231128175345959

18. 常见报错问题

报错一：Refusing to start due to insecure SECRET_KEY

image-20231116214021973

# 生成密钥
$ sudo openssl rand -base64 42
21flr4CawbRD+RwMcXJ6xN5DSJVWjMnt63TLZ+uLibtVTl/DqRKjY1Qq
1lQxdjKhLYa0DFjWQKVi6sS2bOMCOBKPgOiaO1wd6f1dlAfEpySPDRqg# 查看容器
$ docker ps# 进入容器
$ sudo docker exec -it -u root superset /bin/bash
或
$ sudo docker exec -it -u root a00173a7f026 /bin/bash# 进入容器内superset安装目录
$ cd /usr/local/lib/python3.9/site-packages/superset# 修改config.py文件中的SECRET_KEY
$ sed -i 's@SECRET_KEY = os.environ.get("SUPERSET_SECRET_KEY") or CHANGE_ME_SECRET_KEY@SECRET_KEY = "1lQxdjKhLYa0DFjWQKVi6sS2bOMCOBKPgOiaO1wd6f1dlAfEpySPDRqg"@' config.py# 查看原来的SECRET_KEY配置信息
$ cat config.py | grep SECRET_KEY
SECRET_KEY = os.environ.get("SUPERSET_SECRET_KEY") or CHANGE_ME_SECRET_KEY# # 查看替换好的SECRET_KEY配置信息
$ cat config.py | grep SECRET_KEY
SECRET_KEY = "21flr4CawbRD+RwMcXJ6xN5DSJVWjMnt63TLZ+uLibtVTl/DqRKjY1Qq"

报错二：sed: couldn’t open temporary file ./sedtTwnGr: Permission denied

# 以root管理员身份进入容器，即可获得管理员权限。
$ sudo docker exec -it -u root a00173a7f026 /bin/bash
root@a00173a7f026:/home/superset#或者在创建容器实例的时候，增加参数 --privileged=true

注意事项：

境内的亚马逊云无法访问境外的亚马逊云中的数据库。需要使用境外的云主机实例，才能关联Amazon Athena。

19. 参考链接

🎈[1] 【superset安装】史上最全superset安装过程中错误解决方案

🎆[2] 基于docker部署superset容器时出现的Refusing to start due to insecure SECRET_KEY报错解决办法

✨[3] Docker容器里没有权限执行命令，提示Permission denied

🎉[4] Superset安装部署（docker版）

🎁[5] https://bigdata.awspsa.com/4-数据分析与可视化/4_3-实验4.html

🎀[6] Docker部署Superset 2.1.0+开发环境+汉化+匿名访问+创建自定义图表（二次开发）+集成echarts+echarts百度地图

🎨[7] Welcome | Superset

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/226250.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

解决企业异地组网混合办公网络挑战的最佳选择

解决企业异地组网混合办公网络挑战的最佳选择

在传统的网络架构中&#xff0c;企业在实现异地组网时面临着高昂的成本、低效的管理和有限的带宽等痛点。购买昂贵的专用线路和设备、手动配置和管理分布在不同地理位置的分支机构、以及无法满足高速数据传输需求的限制性带宽&#xff0c;给异地组网带来了困难和挑战。 案例背景…
阅读更多...
微服务--03--OpenFeign 实现远程调用

微服务--03--OpenFeign 实现远程调用

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 OpenFeign其作用就是基于SpringMVC的常见注解&#xff0c;帮我们优雅的实现http请求的发送。 RestTemplate实现了服务的远程调用 OpenFeign快速入门1.引入依赖2.启用…
阅读更多...
删除链表的倒数第N个节点，剑指offerII（21）,力扣

删除链表的倒数第N个节点，剑指offerII（21）,力扣

目录 题目地址&#xff1a; 题目&#xff1a; 相似类型题&#xff1a; 我们直接看本题题解吧&#xff1a; 解题方法&#xff1a; 难度分析&#xff1a; 解题分析&#xff1a; 解题思路&#xff08;双指针&#xff09;&#xff1a; 代码实现&#xff1a; 代码说明&#xff1a; 代…
阅读更多...
蓝桥杯-01简介

蓝桥杯-01简介

文章目录 蓝桥杯简介参考资源蓝桥杯官网第15届大赛章程一、概况&#xff08;一&#xff09;大赛背景和宗旨&#xff08;二&#xff09;大赛特色&#xff08;三&#xff09;大赛项目1.Java软件开发2.C/C程序设计3.Python程序设计4.Web应用开发5.软件测试6.网络安全7.嵌入式设计与…
阅读更多...
大型网站系统架构演化（Web）

大型网站系统架构演化（Web）

大型网站系统架构演化 大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis数据类型Redis 淘汰算法 大型网站系统架构演化 需要关注的维度 …
阅读更多...
Docker智驾开发环境搭建

Docker智驾开发环境搭建

文章目录 背景1. 什么是容器？2. 什么是Docker？2.1 Docker架构3. 为什么要使用Docker？3.1 Docker容器虚拟化的好处3.2 Docker在开发和运维中的优势4. Docker容器与传统虚拟化的区别4.1 区别4.2 Docker的优势5. Docker的核心概念6. Docker在嵌入式开发中的应用7. docker实践参…
阅读更多...
visual c++ 2019 redistributable package

visual c++ 2019 redistributable package

直接安装下面包只有24M Microsoft Visual C Redistributable 2019 x86: https://aka.ms/vs/16/release/VC_redist.x86.exe x64: https://aka.ms/vs/16/release/VC_redist.x64.exe ———————————————— 版权声明&#xff1a;本文为CSDN博主「kpacnB_Z」的原创文章…
阅读更多...
基于Python的网络爬虫设计与实现

基于Python的网络爬虫设计与实现

基于Python的网络爬虫设计与实现 摘要&#xff1a;从互联网时代开始&#xff0c;网络搜索引擎就变得越发重要。大数据时代&#xff0c;一般的网络搜索引擎不能满足用户的具体需求&#xff0c;人们更加注重特定信息的搜索效率&#xff0c;网络爬虫技术应运而生。本设计先对指定…
阅读更多...
从赛车到服务台：IT团队可以从F1赛车中学到什么？

从赛车到服务台：IT团队可以从F1赛车中学到什么？

一级方程式赛车被誉为最高级别的赛车&#xff0c;简称F1赛车&#xff0c;它不断挑战速度、创新和进步的极限。因此&#xff0c;对于您的IT团队来说&#xff0c;还有什么比这项运动更值得借鉴的呢&#xff1f; 作为赛车运动的巅峰之作&#xff0c;F1赛车拥有10支车队和20名车手…
阅读更多...
Open Feign 源码解析(四) --- 请求对象构造(上)

Open Feign 源码解析(四) --- 请求对象构造(上)

Open Feign 源码解析四 请求对象的构造&#xff08;上&#xff09; 源码前三篇文章写了这个图的过程 源码前三篇文章的内容归纳起来就是讲了这样的问题&#xff1a; 如何把接口转换为具有发送http请求能力的feign client对象以及如何整合到Spring容器中&#xff1f; 如何构造…
阅读更多...
C语言：写一个函数，求字符串的长度，在main函数中输入字符串并输出其长度（指针）

C语言：写一个函数，求字符串的长度，在main函数中输入字符串并输出其长度（指针）

分析&#xff1a; 在程序中&#xff0c;定义一个函数 fix&#xff0c;该函数使用指针变量来访问字符串中的每个字符&#xff0c;并计算出字符串的长度。fix 函数的参数为指向 char 类型的指针变量 p&#xff0c;表示需要计算长度的字符串。 在主函数 main 中&#xff0c;定义一…
阅读更多...
消息队列MQ

消息队列MQ

文章目录 同步通讯和异步通讯什么是MQ?一.RabbitMQ概述二.SpringAMQP1.Work Queue 工作队列2.发布订阅-Fanout Exchange3.发布订阅-DirectExchange4.发布订阅-TopicExchange 3.消息转换器 同步通讯和异步通讯 其实在之前的JAVASE中就已经在线程一章中接触过了同步和异步的概念…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023