CentOS7 Sqoop 1.4.7 安装 (Hadoop 3.3.0)
1、 Sqoop 1.4.7 官网链接下载:
https://archive.apache.org/dist/sqoop/1.4.7/
2、把压缩包用mobaxterm拖到 /tools文件夹
3、解压
tar -zvxf /tools/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /training/
4、进入 /training 文件夹
cd /training
5、重命名文件夹
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
6、查看一下重命名成功没,可以看到改名为sqoop-1.4.7了
ll
7、编辑环境变量
vi ~/.bash_profile
1)加进去这个
#sqoop
export SQOOP_HOME=/training/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
2)按esc按钮后 :wq 保存并退出文件
3)生效环境变量
source ~/.bash_profile
8、Sqoop配置
1)进去配置文件路径
cd /training/sqoop-1.4.7/conf
2)复制一份
cp sqoop-env-template.sh sqoop-env.sh
3)更改文件sqoop-env.sh
vi sqoop-env.sh
4)看清楚自己的路径是啥,把以下加进去并更改
export HADOOP_COMMON_HOME=/training/hadoop-3.3.0
export HADOOP_MAPRED_HOME=/training/hadoop-3.3.0
export HIVE_HOME=/training/hive
5)加入mysql的jdbc驱动包到sqoop的lib文件夹
链接:https://pan.baidu.com/s/1gD2M8Gr9IFOkOA4EghfWLg?pwd=32r8
9、检查是否可用
1)sqoop版本号查询
sqoop version
2)sqoop帮助查询
sqoop-help
10、测试sqoop链接Linux Mysql
sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!
可能报错:
Exception in thread “main” java.lang.NoClassDefFoundError:
org/apache/commons/lang/StringUtils
a)原因:
找不到类,sqoop版本是1.4.7 而commons-lang3-3.4.jar版本是3.x
b)解决办法:
解决版本问题即可,commons-lang版本改为2.x
c)点击下载百度网盘链接:
commons-lang-2.6.jar
d)替换版本的commons-lang的jar包,将2.x版本的jar复制到sqoop的lib目录下,并删除3.x版本。
e)再尝试就可以了
sqoop list-databases --connect jdbc:mysql://192.168.163.137:3306/ --username root --password Root123!
11、测试sqoop链接Windows Mysql
sqoop list-databases --connect jdbc:mysql://192.168.163.1 --username root --password Root123!