linux安装sqoop

目录

一 解压安装包

二 修改配置文件

三 拷贝 jar 包

(1)sqoop147目录下补全 jar 包 

(2)lib 目录下补全 jar 包

  四 修改环境变量

五 查看 sqoop 版本以及测试连接


一 解压安装包

        这里提供了网盘资源

链接: https://pan.baidu.com/s/1QkFqVnlvuOJ_aB2bjn-OKg?pwd=ucsy 提取码: ucsy

        这里有两个压缩包,sqoop-1.4.7.tar.gz是 sqoop 的安装包,另一个是我们需要里面的一些 jar 包

        

        解压 安装包

tar -zxf ./sqoop-1.4.7.tar.gz -C /opt/soft

        改个简单的名字方便后面操作 

mv sqoop-1.4.7/ sqoop147

二 修改配置文件

        到sqoop/conf 目录下,拷贝sqoop-env-template.sh文件到此目录命名sqoop-env.sh

 cp sqoop-env-template.sh sqoop-env.sh

        修改sqoop-env.sh

vim sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/soft/hadoop313#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/soft/hadoop313#set the path to where bin/hbase is available
export HBASE_HOME=/opt/soft/hbase235#Set the path to where bin/hive is available
export HIVE_HOME=/opt/soft/hive312
export HIVE_CONF_DIR=/opt/soft/hive312/conf#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/soft/zk345/conf

三 拷贝 jar 包

(1)sqoop147目录下补全 jar 包 

        需要sqoop-1.4.7.bin__hadoop-2.6.0目录下的sqoop-1.4.7.jar,拷贝一份到 sqoop147 目录下

cp /opt/install/sqoop-1.4.7.bin__hadoop-2.6.0/sqoop-1.4.7.jar /opt/soft/sqoop147/

(2)lib 目录下补全 jar 包

这里命令执行在/opt/soft/sqoop147/lib里

cd /opt/soft/sqoop147/lib
 cp /opt/soft/hive312/lib/hive-common-3.1.2.jar ./

这个 mysql 驱动包在安装 hive 的时候复制过 ,所以我这里直接在这个目录就有,这个驱动包在这个目录没有的可以去hive 的bin目录里找找

cp /opt/install/mysql-connector-java-8.0.29.jar ./
cp /opt/install/sqoop-1.4.7.bin__hadoop-2.6.0/lib/avro-1.8.1.jar ./

  四 修改环境变量

vim /etc/profile
#SQOOP
export SQOOP_HOME=/opt/soft/sqoop147
export PATH=$SQOOP_HOME/bin:$PATH

        修改完source一下 

source /etc/profile

五 查看 sqoop 版本以及测试连接

        查看 sqoop 版本

sqoop version
[root@kb46 conf]# sqoop version
Warning: /opt/soft/sqoop147/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/soft/sqoop147/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2023-09-15 11:21:14,751 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

        查看 sqoop 的命令

sqoop help

         连接 mysql 查看 MySQL 所有数据库

         这里的 ip 还有mysql密码 换成自己的

        这里还有一个小技巧,在命令行敲sqoop命令时\代表连接符,\后回车接着写,是一句命令

 sqoop list-databases --connect jdbc:mysql://172.25.**.**:3306/ --username root --password password

结果实例:

[root@kb46 conf]# sqoop list-databases --connect jdbc:mysql://172.25.38.169:3306/ --username root --password 100860
Warning: /opt/soft/sqoop147/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/soft/sqoop147/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2023-09-15 11:25:35,880 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
2023-09-15 11:25:35,910 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2023-09-15 11:25:35,996 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
mysql
information_schema
performance_schema
sys
kb46

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/116023.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

三、初识FreeRTOS之FreeRTOS基础知识

从这节开始,我们正式学习FreeRTOS的一些基础知识,争取做到日更,或者隔日更。如果在学习的过程中哪里有理解错误,希望各位朋友批评指正。因为自己觉得图文并茂好像更容易理解一点,所以在博文中加了大量的图片&#xff0…

SpringMVC之自定义注解

目录 一.JAVA注解简介 1.1.Java注解分类 1.2.JDK元注解 二.自定义注解 1.1.如何自定义注解 1.2.自定义注解的基本案例 1.2.1.案例一(获取类与方法上的注解值) 1.2.2.案例二(获取类属性上的注解属性值) 1.2.3. 案例三&#xff…

Qt: 鼠标形状设置

设置全局鼠标形状 设置完毕后,整个APP的任何窗体,包括Dialog中的鼠标形状都会被修改为设定类型,某一个控件设定的鼠标形状将被替换。一般不建议使用 QCursor cursor;//创建鼠标对象 cursor.setShape(Qt::CursorShape::ClosedHandCursor);//…

【初阶数据结构】二叉树全面知识总结

二叉树详解 树的概念及其结构树的概念树的相关概念树的表示方法孩纸兄弟表示法双亲表示法(并查集) 树的实际应用 二叉树二叉树的概念二叉树的种类二叉树的性质二叉树的存储结构 二叉树顺序结构的实现堆的概念及结构堆向上、向下调整法堆的插入堆的删除堆…

Qt-day3

1、完成文本编辑器的保存工作 //保存按钮对应的槽函数 void Widget::on_saveBtn_clicked() {QString fileName QFileDialog::getSaveFileName(this, //父组件"保存文件", //对话框标题"./", //起始路径"All(*.…

【C语言】指针的进阶(三)—— 模拟实现qsort函数以及指针和数组的笔试题解析

目录 1、模拟实现qsort函数 1.1、qsort函数的回顾 1.2、模拟实现qsort函数 2、指针和数组笔试题解析 2.1、一维数组 2.2、字符数组 1、模拟实现qsort函数 1.1、qsort函数的回顾 要模拟实现qsort函数,就要了解清楚qsort函数的参数以及使用方式。 我们先回顾一…

4 vCPU 实例达成 100 万 JSON API 请求/秒的优化实践

“性能工程” (Performance engineering)是个日渐流行的概念。顾名思义“性能工程”是包含在系统开发生命周期中所应用的一个技术分支,其目的就是确保满足非功能性的性能需求,例如:性能、可靠性等。由于现代软件系统变…

解决谷歌Redux DevTools调试React+Typescript项目数据对不上/连接不上问题

上文 ReactTypescript项目环境中搭建并使用redux环境 我们创建了一个redux项目的环境 但是我们用谷歌浏览器插件调试 会发现 要不 匹配的数据有问题 看不到数据 要不 就压根连接不到 而且 我们点击加减号 去改变值 调试工具也没有任何反应 我们终端输入 npm install --save-d…

【2023全新保姆级教图文教程】三分钟快速安装好Anacaonda3+Pycharm运行Python

😎 作者介绍:我是程序员洲洲,一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公粽号:程序员洲洲。 🎈 本文专栏:本文…

postman发送图片

POSTMAN 如何发送携带图片的请求? 闲话不叙 步骤如下: 新建一个请求,在Headers中添加一对k-v : Content-Type > multipart/form-data 请求的接口: RequestMapping("/fileUploadController")public String fileUpload(MultipartFile fil…

解密堆排序与TopK问题

📙作者简介: 清水加冰,目前大二在读,正在学习C/C、Python、操作系统、数据库等。 📘相关专栏:C语言初阶、C语言进阶、C语言刷题训练营、数据结构刷题训练营、有感兴趣的可以看一看。 欢迎点赞 &#x1f44d…

【力扣-每日一题】2560. 打家劫舍 IV

class Solution { public:bool check(vector<int> &nums,int max_num,int k){//只需要计算可以偷的房间。在满足最大值为max_num下时&#xff0c;能偷的最多的房间&#xff0c;与k值比较//如果大于K&#xff0c;说明max_num还可以缩小//如果小于看&#xff0c;说明ma…