Apache Airflow (三) :Airflow WebUI操作介绍

🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。

 🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频


目录

1. DAG

2. Security

​​​​​​​3. Browse

​​​​​​​4. Admin

​​​​​​​5. Docs


1. DAG

DAG有对应的id,其id全局唯一,DAG是airflow的核心概念,任务装载到DAG中,封装成任务依赖链条,DAG决定这些任务的执行规则。

点击以上每个DAG对应的id可以直接进入对应“Graph View”视图,可以查看当前DAG任务执行顺序图。

以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态,鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后,出现以下选项:

  • Tree View

将DAG以树的形式表示,如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤,在生产环境下,经常通过这个页面查看每个任务执行情况。

点击以上每个有颜色的“小块”都可以看到task详情:

  • Graph View

此页面以图形方式呈现DAG有向无环图,对于理解DAG执行非常有帮助,不同颜色代表task执行的不同状态。

点击任意一个task,都可以看到当前task执行情况:

  • Calendar View

日期视图,显示当前年每月每天任务执行情况。

  • Task Duration

此视图表示不同的task在过去每天执行的时长,可以通过每日执行时长对比,发现同一个task执行耗时情况。

  • Task Tries

此视图显示每个task重试次数情况。

  • Landing Times

Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间,得到的小时数,可以通过这个图看出任务每天执行耗时、延迟情况。

以上得到的“Landing Times”如下:

  • Gantt

甘特图,可以通过甘特图来分析task执行持续时间和重叠情况,可以直观看出哪些task执行时间长。

  • Details

可以通过“Details”发现任务详细情况。

  • Code

Code页面主要显示当前DAG python代码编码,当前DAG如何运行以及任务依赖关系、执行成功失败做什么,都可以在代码中进行定义。

2. ​​​​​​​Security

“Security”涉及到Airflow中用户、用户角色、用户状态、权限等配置。

​​​​​​​3. Browse

  • DAG Runs

显示所有DAG状态

  • Jobs

显示Airflow中运行的DAG任务

  • Audit Logs

审计日志,查看所有DAG下面对应的task的日志,并且包含检索。

  • Task Instances

查看每个task实例执行情况。

  • Task Reschedules

Task 重新调度的实例情况。

  • SLA Misses

如果有一个或者多个实例未成功,则会发送报警电子邮件,此选项页面记录这些事件。

  • DAG Dependencies

查看DAG任务对应依赖关系。

​​​​​​​4. Admin

在Admin标签下可以定义Airflow变量、配置Airflow、配置外部连接等。

​​​​​​​5. Docs

Docs中是关于用户使用Airflow的一些官方使用说明文档连接。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/174173.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

KB / KiB,MB / MiB,GB / GiB,… 的区别是什么?

GB和GiB:https://www.zhihu.com/question/24601215 1 显存容量指的是显存能够存储的数据量,单位是GB,显存容量越大 按照目前计算机存储来说,还是应该遵循二进制 严格意义上来讲,1 GB (Gigabyte)10^9 KB,而…

Unity随笔:C#运行时

Unity是如何编译运行C#的 (1)Unity会通过编译器将C#脚本编译成IL指令。 Unity会通过Roslyn来对C#代码进行编译,生成中间IL指令集。 当我们每次修改或者添加新的C#代码文件,Unity界面的右下角会出现短暂的“转圈”现象。这就意味…

Vue3-TypeScript-Threejs:导入外部的glb格式3D模型

一、直接上代码&#xff0c;在vue3-typescript-threejs 项目 导入外部的glb格式3D模型 极简代码&#xff0c;快速理解 <template><div ref"container"></div></template><script lang"ts" setup>import { onMounted, ref …

datax 搭建使用

文章目录 datax 环境搭建使用一、解压文件二、配置 json 文件三、执行命令 datax 环境搭建使用 用于全量同步 一、解压文件 将包上传至服务器 输入命令&#xff1a; tar -zxvf datax.tar.gz -C /opt/module/ 将包 解压到 /opt/module 目录 解压完之后&#xff0c;不需要任何…

NOIP 2017 宝藏----Java题解

目录 NOIP 2017 宝藏 题目描述 输入描述: 输出描述: 输入 输出 说明 输入 输出 说明 备注: 代码实现&#xff1a; NOIP 2017 宝藏 时间限制&#xff1a;C/C 1秒&#xff0c;其他语言2秒 空间限制&#xff1a;C/C 262144K&#xff0c;其他语言524288K 64bit IO For…

Meta开源支持1000多种语言的文本转语音与语音识别大语言模型

据不完全统计,地球上有超过7000多种语言,而现在的大语言模型仅仅只涉及到了主流的100多种语言。相对全球7000多种语言来讲,这仅仅只是其中的一小部分。如何让全球的人获益,把大语言模型扩展到更多的语言上,一直是大语言模型研究的重点。Meta发布了涵盖 1406 种语言的预训练…

修改Openwrt软路由的web端口

如何修改openwrt路由器的web访问端口号&#xff1f; 在OpenWrt路由器上&#xff0c;如何修改Web访问端口号&#xff0c;通常涉及到修改HTTP服务器的配置文件。默认情况下&#xff0c;OpenWrt使用的HTTP服务器是uHTTPd。 以下是修改Web访问端口号的步骤&#xff1a; 一、通过…

Install Docker in Linux

Docker官网链接: https://docs.docker.com/ 1.确定Linux版本 新版本的Docker对Linux系统版本有一定的要求。如果Linux的发行版系统是centOS&#xff0c;安装最新版的docker需要centOS 7以上的系统。 在Docker安装帮助页面查看支持的系统版本。 Docker帮助页面:https://docs…

dameng数据库数据id decimal类型,精度丢失

问题处理 这一次也是精度丢失&#xff0c;但是问题呢还是不一样&#xff0c;这一次所有的id都被加一了&#xff0c;只有id字段被加一&#xff0c;还有的查询查出来封装成对象之后对象的id字段被减一了&#xff0c;数据库id字段使用的decimal&#xff08;20,6&#xff09;&…

接口测试和功能测试有什么区别

本文主要分为两个部分&#xff1a; 第一部分&#xff1a;主要从问题出发&#xff0c;引入接口测试的相关内容并与前端测试进行简单对比&#xff0c;总结两者之前的区别与联系。但该部分只交代了怎么做和如何做&#xff1f;并没有解释为什么要做&#xff1f; 第二部分&#xff1…

阿里云 OSS使用介绍

1、什么是阿里云 OSS&#xff1f; OSS 为 Object Storage Service&#xff0c;即对象存储服务。是阿里云提供的海量、安全、低成本、高可靠的云存储服务。 OSS 具有与平台无关的 RESTful API 接口&#xff0c;可以在任意应用、任意时间、任意地点 存储与访问 任何类型的数据。…

【vue】0到1的常规vue3项目起步

创建项目并整理目录 npm init vuelatestjsconfig.json配置别名路径 配置别名路径可以在写代码时联想提示路径 {"compilerOptions" : {"baseUrl" : "./","paths" : {"/*":["src/*"]}} }elementPlus引入 1. 安装e…