DataX及Datax-web杂记

👽个人博客:https://everspring.github.io/
👽公众号:爱历史的IT男

一. DataX调试

DataX之前调试不是很方便,要打包后才能调试。23年7月后一位叫"FuYouJ "的开源者提交了datax-example模块,就方便了很多。下面说下简要使用方法
1.把配置好的reader/writer的json文件放到datax-example-streamreaderresource目录下
2.把用到的reader、writer的依赖包配置到datax-example-streamreaderpom.xml
在这里插入图片描述
3.把datax-example-core下面core.json配置中的transport.channel.speed.byte改成大于-1,原因就是避免运行时出现异常[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .]. - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数
4.StreamReader2StreamWriterTest.java中把path的值改一下,注意是/开头,默认对应的就是第1步中resource路径
5.运行即可

二. Datax-web运行

之前的python环境是直接安装的,后面改成了conda安装后,用Datax-web执行时提示ReturnT:ReturnT [code=500, msg=command exit value(9009) is failed, content=null],就是python的命令找不到。除了重装python环境外,还可以手动指定python.exe路径
在datax-executor模块中,将ExecutorJobHandler类的 buildDataXExecutorCmd方法中
cmdArr.add("python"); 改为 cmdArr.add("python.exe的路径");

三.其他问题

  1. datax-web执行datax是通过datax.py实现的。在使用数据源是oracle的时候,遇到了夏令时问题,比如数据类型是date,查询出来后时间会大1小时,如1947-04-15 00:00:00,1946-05-15 00:00:00,1949-05-01 00:00:00查询出来是1947-04-15 01:00:00,1946-05-15 01:00:00,1949-05-01 01:00:00。这个时候需要指定时区,但在datax的配置文件中不能在jdbcUrl中指定timezone,"jdbc:oracle:thin:@//127.0.0.1:1521/test?timezone=GMT+8"这种常用的指定方法会导致启动失败。所以需要在jvm参数中指定。在datax指定时区方式如下
    datax/bin/datax.py里面DEFAULT_PROPERTY_CONF的值-Dfile.encoding=UTF-8后面加一段-Duser.timezone=GMT+8
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/505080.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实例:NX二次开发收集关于Open C的计时信息

目录 一、概述 二、实现的功能 三、代码实现以及详细解析 一、概述 在NX二次开发过程中,我们为了效率经常会进行Open C的计时统计,这个实例可用于收集关于Open C的计时信息程序,并且在计时测试中很有用。该实例通过UF_begin_timer启动一个…

ARM系列 -- 虚拟化(一)

今天来研究一个有意思的话题,虚拟化(virtualization)。 开始前,先闲扯一下,最近一个词比较火,“元宇宙(Metaverse)”。在维基百科里面是这么定义元宇宙的,“The Metaver…

H3C IS-IS基本配置实验

H3C IS-IS基本配置实验 实验拓扑 ​​ 实验需求 按照图示配置IP地址按照图示分区域配置 IS-IS,完成全网互通,NET 地址如图所示要求 R1 和 R2/R3 只建立 Level-1 邻接关系要求 R2 和 R3 只建立 Level-1 邻接关系按照图示修改各链路 Cost在 R2 和 R3 上…

mysql8.0安装(zip版本)最详细

下载 https://dev.mysql.com/downloads/mysql/ 解压 [mysqld] # 设置3306端口 port3306 # 设置mysql的安装目录 basedirD:\Atools\mysql-8.0.30-winx64 # 切记此处一定要用双斜杠\\,单斜杠我这里会出错,不过看别人的教程,有的是单斜杠。自己…

陶瓷工业5G智能制造工厂数字孪生可视化平台,推进行业数字化转型

陶瓷工业5G智能制造工厂数字孪生可视化平台,推进行业数字化转型。在陶瓷工业领域,5G智能制造工厂数字孪生可视化平台的应用正在改变着行业的传统生产模式,推动着数字化转型的进程。本文将围绕这一主题展开探讨,分析数字孪生可视化…

【数据结构】实现栈

大家好,我是苏貝,本篇博客带大家了解栈,如果你觉得我写的还不错的话,可以给我一个赞👍吗,感谢❤️ 目录 一 .栈的概念及结构二 .栈的实现栈的结构体初始化销毁栈顶插入栈顶删除显示栈顶元素是否为空栈的大…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的行人车辆检测与计数(Python+PySide6界面+训练代码)

摘要:开发行人车辆检测与计数系统对于提升城市交通管理和监控系统的效率至关重要。本篇博客详细介绍了如何利用深度学习构建一个行人车辆检测与计数系统,并提供了完整的实现代码。该系统基于强大的YOLOv8算法,并结合了YOLOv7、YOLOv6、YOLOv5…

【硬件相关】IB网/以太网基础介绍及部署实践

文章目录 一、前言1、Infiniband网络1.1、网络类型1.2、网络拓扑1.3、硬件设备1.3.1、网卡1.3.2、连接线缆a、光模块b、线缆 1.3.4、交换机 2、Ethernet网络 二、部署实践(以太网)1、Intel E810-XXVDA21.1、网卡信息1.2、检查命令1.2、驱动编译 2、Mella…

重拾前端基础知识:JavaScript

重拾前端基础知识:JavaScript 前言使用JavaScript输出语法运算符条件语句循环数据类型字符串数字数组对象日期函数 数学正则表达式异常处理类集合模块JSON闭包异步调试DOM(文档对象模型)事件事件监听器表单 BOM(浏览器对象模型&am…

React之组件定义和事件处理

一、组件的分类 在react中,组件分为函数组件和class组件,也就是无状态组件和有状态组件。 * 更过时候我们应该区别使用无状态组件,因为如果有状态组件会触发生命周期所对应的一些函数 * 一旦触发他生命周期的函数,它就会影响当前项…

GraphPad Prism 10: 你的数据,我们的魔法 mac/win版

GraphPad Prism 10是GraphPad Software公司推出的一款功能强大的数据分析和可视化软件。它集数据整理、统计分析、图表制作和报告生成于一体,为科研工作者、学者和数据分析师提供了一个高效、便捷的工作平台。 GraphPad Prism 10软件获取 Prism 10拥有丰富的图表类…

vSphere资源管理

一 内存、CPU、资源池和vApp 内存部分: 关联VM内存 我们可以超额的关联内存给VM。例如:ESXI物理主机内存只有8G,但我们可以给三个VM都分配4G内存。 2.ESXI四大高级内存控制技术 a.Page sharing(透明的页面共享) 虚…