CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)

1、 Sqoop 1.4.7 官网链接下载:

https://archive.apache.org/dist/sqoop/1.4.7/
在这里插入图片描述

2、把压缩包用mobaxterm拖到 /tools文件夹

在这里插入图片描述

3、解压
tar -zvxf /tools/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /training/

在这里插入图片描述

4、进入 /training 文件夹
cd /training
5、重命名文件夹
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
6、查看一下重命名成功没,可以看到改名为sqoop-1.4.7了
ll

在这里插入图片描述

7、编辑环境变量
vi ~/.bash_profile

1)加进去这个

#sqoop
export SQOOP_HOME=/training/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

在这里插入图片描述
2)按esc按钮后 :wq 保存并退出文件

3)生效环境变量

source ~/.bash_profile
8、Sqoop配置

1)进去配置文件路径

cd /training/sqoop-1.4.7/conf

2)复制一份

cp sqoop-env-template.sh sqoop-env.sh

在这里插入图片描述
3)更改文件sqoop-env.sh

vi sqoop-env.sh

在这里插入图片描述
4)看清楚自己的路径是啥,把以下加进去并更改

export HADOOP_COMMON_HOME=/training/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/training/hadoop-3.3.0
export HIVE_HOME=/training/hive

在这里插入图片描述
5)加入mysql的jdbc驱动包到sqoop的lib文件夹
链接:https://pan.baidu.com/s/1gD2M8Gr9IFOkOA4EghfWLg?pwd=32r8
在这里插入图片描述

9、检查是否可用

1)sqoop版本号查询

sqoop version

在这里插入图片描述

2)sqoop帮助查询

sqoop-help

在这里插入图片描述

10、测试sqoop链接Linux Mysql
sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!
可能报错:

Exception in thread “main” java.lang.NoClassDefFoundError:
org/apache/commons/lang/StringUtils
在这里插入图片描述

a)原因:

找不到类,sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x

b)解决办法:

解决版本问题即可,commons-lang版本改为2.x

c)点击下载百度网盘链接:

commons-lang-2.6.jar

d)替换版本的commons-lang的jar包,将2.x版本的jar复制到sqoop的lib目录下,并删除3.x版本。

在这里插入图片描述

e)再尝试就可以了
sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!

在这里插入图片描述

11、测试sqoop链接Windows Mysql
sqoop list-databases --connect jdbc:mysql://192.168.163.1 --username root --password Root123!

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/520347.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于深度学习的交通标志检测识别系统(含UI界面、yolov8、Python代码、数据集)

项目介绍 项目中所用到的算法模型和数据集等信息如下: 算法模型:     yolov8 yolov8主要包含以下几种创新:         1. 添加注意力机制(SE、CBAM等)         2. 修改可变形卷积(DySnake-主干c…

moi3D安装

下载文件双击文件 下一步 同意下一步 下一步 下一步 下一步 安装下一步 完成 破解 将如图中的文件复制到文件目录下 汉化 在目录中进入ui文件夹下 在安装包中找到如下的文件复制到ui目录下 在打开 另存为 另存为时改一下编码格式如图 打开软件 找到如图options进入…

蓝牙 | 软件: Qualcomm BT Audio 问题分析(4)----检查MIPS使用情况

大家好! 我是“声波电波还看今朝”成员的一位FAE Devin.wen,欢迎大家关注我们的账号。 今天给大家大概讲解“如何排查Qualcomm BT Audio”的疑难杂症(四):MIPS检查。 如果大家还没有注册我们大大通的账号&#xff0c…

Spring AOP(二) — 底层组件

Spring AOP 是通过动态代理的方式来实现,主要是通过Pointcut、Advice、Advisor及ProxyFactoryBean 等接口来创建代理对象。 在IoC容器中,Advice 是一个bean(这样可以在通知中使用其他的bean),而Pointcut虽然不是一个B…

YOLO v1讲解

YOLO是最经典的一阶目标检测框架,记录一下v1思路。 整体流程 输入数据一张 448 448 3 448 \times 448 \times 3 4484483 的图片,切分成 7 7 7 \times 7 77 的网格将图片经过多层CNN,下采样得到 7 7 30 7 \times 7 \times 30 7730 的f…

JVM-对象创建与内存分配机制深度剖析 3

JVM对象创建过程详解 类加载检查 虚拟机遇到一条new指令时,首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用,并且检查这个 符号引用代表的类是否已被加载、解析和初始化过。如果没有,那必须先执行相应的类加载过程。 new…

在分布式环境中使用状态机支持数据的一致性

简介 在本文中,我们将介绍如何在分布式系统中使用transaction以及分布式系统中transaction的局限性。然后我们通过一个具体的例子,介绍了一种通过设计状态机来避免使用transaction的方法。 什么是数据库transaction Transaction是关系型数据普遍支持的…

Threejs着色器(GPU)编程——感温管网

管网,作为支撑现代城市运转的重要基础设施,是隐藏在地面之下的庞大工程网络。这些管网如同城市的血脉,负责输送各种必要的资源,如水源、热力、燃气等,同时排除废水和其他废弃物。然而,由于其位于地下,人们往往难以直接感知其存在和运行状态。为了保障这些地下管网的安全…

现货白银实时行情的简单和复杂的判断

投资者要进行现货白银实时行情的判断,就需要有一个判断原则或者判断的系统。而这个判断的基础,有所谓的简单判断和复杂判断。那现货白银实时行情的简单和复杂的判断有何区别呢? 先说一下简单判断。现货白银实时行情的简单判断,主要…

yolov9网络结构图

文章目录 配置文件主干分支backbone预测头headyolov9网络结构图 系列文章目录 论文链接:👿 YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information代码链接:👿 https://github.com/WongKinYiu/yolov9…

GAN 网络的损失函数介绍代码

文章目录 GAN的损失函数介绍1.L1 losses2.mse loss3.smooth L14.charbonnier_loss5.perceptual loss (content and style losses)6.Gan损失7.WeightedTVLoss8.完整代码方便使用,含训练epoch代码。 GAN的损失函数介绍 1.L1 losses pixel_opt: type: L1Loss loss_weight: 1.0 r…

新书速览|PyTorch语音识别实战(人工智能技术丛书)

实战语音唤醒、音频特征抽取、语音情绪分类、Whisper语音转换、鸟叫多标签分类、多模态语音文字转换 01 本书内容 《PyTorch语音识别实战》使用PyTorch 2.0作为语音识别的基本框架,循序渐进地引导读者从搭建环境开始,逐步深入到语音识别基本理论、算法以…