ETL中如何执行Python脚本

Python的解读

Python 是一种高级、通用的编程语言,由荷兰程序员吉多·范罗苏姆(Guido van Rossum)于1990年代初设计并发布。Python的设计哲学强调代码的可读性和简洁性,它的语法清晰且表达力强,使得开发者能够以更少的代码行数表达复杂的概念。这使得Python成为了编程入门者的理想选择,同时也被专业开发者广泛用于快速开发各种应用程序。

Python作为一个胶水语言具有简单易学、高可读性、丰富强大的库与框架、跨平台支持、动态类型、广泛的社区支持、适用领域广泛,可以通过Python丰富的第三方库达到你想要的任意结果。而ETLCLoud连接python之后可以增加数据获取来源,也可以对数据进行自定义的清理和处理。

ETL中Python脚本使用和注意细节

配置抽取数据到Python脚本中然后修改最后输出的流程image

库表输入配置

选择完数据库和表之后,配置字段非必要配置内容

image

如果要配置点击下一步,sql语句可以自己添加条件

image

字段配置

image

Python命令要根据自己的Python选择,有的要填Python3。平台Python环境使用的是用户自身的Python环境,所以缺库少什么东西在自己本地下载安装就好。

image

脚本来源:当我们选择Python文件之后会显示"Python文件"的输入框,填写Python文件路径就好,不过下面也有提示,使用Python文件后,后面编写的Python脚本就没有用了

image

输入参数:这个主要是学习ETL参数的使用。一个是变量的设置,另一个是变量在节点获取方法。我简单说一下变量的使用方法,局部变量全局变量都是 局部变量 i d ∗ ∗ 这种方式引用的, ∗ ∗ 公共变量 ∗ ∗ 的使用是这样子的 ∗ ∗ {局部变量id}** 这种方式引用的,**公共变量**的使用是这样子的 ** 局部变量id这种方式引用的,公共变量的使用是这样子的{$config.变量id}

而我们的上一节点数据属于局部变量,以这个为例就算不输入${data},还是可以输出数据 。如果不是上一节点的数据就要保存到全局变量里然后设置变量参数image

返回数据编码:根据自己的编码来就行,不过要注意一点,之前有人反馈即使设置了utf-8和gbk输出的都是乱码,这就要注意设置Python命令了,这个时候设置一下Python3就好。具体根据自身Python版本来。

执行Python脚本

image

输出完成,系统转给Python的是个list。不一定所有的数据都是list,各位拿来用的时候可以先看一下

image

拿取数据演示

image

查看数据输出

image

总结

在ETLCloud中Python脚本使用的是你自己系统的环境,平台是不带Python环境的。Python命令填写,要根据自己版本来填写,如果不知道用哪个版本,就使用3.12版本,其他的就正常使用Python就行。在Python脚本里,可以根据自己的需要将数据加工成想要的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/685535.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解析Spring中的循环依赖问题:初探三级缓存

什么是循环依赖? 这个情况很简单,即A对象依赖B对象,同时B对象也依赖A对象,让我们来简单看一下。 // A依赖了B class A{public B b; }// B依赖了A class B{public A a; }这种循环依赖可能会引发问题吗? 在没有考虑Sp…

Linux 操作系统多路IO复用

1.多路IO复用 多路I/O复用是通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。 这个机制能够通过select/poll/eroll等来使用。这些函数都可以同时监视多…

ICode国际青少年编程竞赛- Python-3级训练场-能量状态判断1

ICode国际青少年编程竞赛- Python-3级训练场-能量状态判断1 1、 for i in range(6):Spaceship.step(2)if not Item[i].broken():Spaceship.turnLeft()Spaceship.step(4)Spaceship.turnLeft()Spaceship.turnLeft()Spaceship.step(4)Spaceship.turnLeft()2、 for i in range(6)…

每日一题——力扣27. 移除元素(举一反三)

题目链接:https://leetcode.cn/problems/remove-element/description/ 菜鸡写法: // 函数定义,移除数组nums中所有值为val的元素,并返回新的数组长度 int removeElement(int* nums, int numsSize, int val) {// 如果数组长度为…

聚观早报 | 苹果新款iPad Pro发布;国产特斯拉4月交付量

聚观早报每日整理最值得关注的行业重点事件,帮助大家及时了解最新行业动态,每日读报,就读聚观365资讯简报。 整理丨Cutie 5月9日消息 苹果新款iPad Pro发布 国产特斯拉4月交付量 iOS 18新功能爆料 真我GT Neo6续航细节 三星Galaxy Z F…

java图片水印字体乱码问题

问题描述:在linux Centos-7.5_64bit系统的其他服务器上不乱码,在部署项目的正式服务器乱码 水印字体设置是 微软雅黑 Font wordFont new Font("微软雅黑", Font.ITALIC,(srcImgHeightsrcImgWidth)/50); 一.Springboot项目,部署在…

文献速递:深度学习医学影像心脏疾病检测与诊断--基于迁移学习的生成对抗网络用于静态和动态心脏PET的衰减校正

Title 题目 Transfer learning‑based attenuation correction for static and dynamic cardiac PET using a generative adversarial network 基于迁移学习的生成对抗网络用于静态和动态心脏PET的衰减校正 01 文献速递介绍 心脏正电子发射断层扫描(PET&#xf…

Redis 支持的 Java 客户端都有哪些?

Redis 是一种高性能的键值存储系统,它以其快速、灵活和可扩展的特性而闻名。在 Java 开发中,与 Redis 交互的方式通常是通过使用 Redis 的 Java 客户端。 这些客户端提供了访问 Redis 数据库的接口,使开发人员能够在 Java 应用程序中轻松地使…

伦敦金交易常识 原来可以这样分类

如果投资者想做好伦敦金交易,对市场中的伦敦金交易常识等等都需要加以学习和研究,别小看那些伦敦金交易常识,很多高深的交易策略也是从常识出发慢慢建立起来的。伦敦金交易常识可以分为几类,下面我们就来讨论一下。 伦敦金市场的基…

Git 如何管理标签命令(tag)

1.查看本地仓库tag --1.查看本地仓库tag UserDESKTOP-2NRT2ST MINGW64 /e/GITROOT/STARiBOSS/STARiBOSS-5GCA (gw_frontend_master) $ git tag 1stBossUpgrade V10.0.1_20220224_test V10.0.1_20220301_test tag-gwfrontend-V1.0.12-230625 tag-gw_frontend-23.08.29 tag-gw_f…

Docker快速搭建NAS服务——FileBrowser

Docker快速搭建NAS服务——FileBrowser 文章目录 前言FileBrowser的搭建docker-compose文件编写运行及访问 总结 前言 本文主要讲解如何使用docker在本地快速搭建NAS服务,这里主要写如下两种: FileBrowser1:是一个开源的Web文件管理器&…

45.乐理基础-音符的组合方式-复附点

复附点: 复附点顾名思义就是两个附点 复附点表示的音符,有多少拍?下面拿 复附点四分音符举例,可以把整个音符看成三部分,第一部分是原本的四分音符,第二部分是第一个附点,第三部分是第二个附点&…