Windows下安装Sqoop

Windows下安装Sqoop

  • 一、Sqoop简介
  • 二、Sqoop安装
    • 2.1、Sqoop官网下载
    • 2.2、Sqoop网盘下载
    • 2.3、Sqoop安装(以version:1.4.7为例)
      • 2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录
      • 2.3.2、新增环境变量 SQOOP_HOME
      • 2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin
      • 2.3.4、验证 Sqoop 是否安装成功:sqoop version
      • 2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)
        • 2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理
          • 2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
            • 2.3.5.1.1.1、官网下载
            • 2.3.5.1.1.2、网盘下载
          • 2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
          • 2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中
      • 2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

一、Sqoop简介

1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具。
它包括以下两个方面:
1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task(只有map)的MapReduce作业实现的。所以它是一种批处理方式进行数据传输,难以实现实时的数据进行导入和导出。
1.3、特点
优点:它可以将跨平台的数据进行整合。
缺点:它不是很灵活。
1.4、Sqoop的重要的几个关键词
import :从关系型数据库到Hadoop
export :从Hadoop到关系型数据库。
1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version:1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址:http://archive.apache.org/dist/sqoop/
下载:sqoop-1.4.7.tar.gz 这个文件
在这里插入图片描述

2.2、Sqoop网盘下载

或者网盘下载:https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载:sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装(以version:1.4.7为例)

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gzD:\bigdata\sqoop\1.4.7
在这里插入图片描述

2.3.2、新增环境变量 SQOOP_HOME

在这里插入图片描述

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

在这里插入图片描述

2.3.4、验证 Sqoop 是否安装成功:sqoop version

管理员权限打开cmd命令窗口。输入:

sqoop version

在这里插入图片描述
发现报错:找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理(找不到或无法加载主类 org.apache.sqoop.Sqoop)

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法:下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址:http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
在这里插入图片描述

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载:https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz:
在这里插入图片描述
可以看到解压目录中有:sqoop-1.4.6.jar , 这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib
在这里插入图片描述

2.3.6、重新验证 Sqoop 是否安装成功:sqoop version

在这里插入图片描述
至此,Windows下安装Sqoop,安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/58609.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++进阶】:异常

异常 一.异常的概念二.基本使用三.异常重新抛出四.异常规范五.异常安全六.异常的优缺点 一.异常的概念 c语言 传统的错误处理机制: 1. 终止程序,如assert,缺陷:用户难以接受。如发生内存错误,除0错误时就会终止程序。…

Openlayers实战:使几何图形适配窗口

Openlayers开发的项目中,有一种应用非常重要,就是绘制或者显示出几何图形后,让几何图形居中并适配到窗口下,这样能让用户很好的聚焦到所要看的内容中去。 这里使用了fit的这个view 的方法,具体的操作请参考示例源代码。 效果图 源代码 /* * @Author: 大剑师兰特(xiaozh…

.NET 应用程序 部署

**硬件支持型号 点击 查看 硬件支持 详情** DTU701 产品详情 DTU702 产品详情 DTU801 产品详情 DTU802 产品详情 DTU902 产品详情 G5501 产品详情 本文内容 在设备上部署 dotnet应用,与任何其他平台的部署相同,可以2种方式: 依赖于框…

Android 项目导入高德SDK初次上手

文章目录 一、前置知识:二、学习目标三、学习资料四、操作过程1、创建空项目2、高德 SDK 环境接入2.1 获取高德 key2.2下载 SDK 并导入2.2.1、下载SDK 文件2.2.2、SDK 导入项目2.2.3、清单文件配置2.2.4、隐私权限 3、显示地图 一、前置知识: 1、Java 基…

24届近5年东华大学自动化考研院校分析

今天给大家带来的是东华大学控制考研分析 满满干货~还不快快点赞收藏 一、东华大学 学校简介 东华大学(Donghua University),地处上海市,是教育部直属全国重点大学,国家“双一流”、“211工程”建设高校…

亿欧智库:2023中国宠物行业新趋势洞察报告(附下载)

关于报告的所有内容,公众【营销人星球】获取下载查看 核心观点 户外赛道本质上迎合了全球共性需求的增长,从养宠意愿的转化到养宠生活的需求,多层次的需求推动行业发展新趋势 从需求端进行分析,可以将养宠意愿的转化分为三个层…

基于gpt4all的企业内部知识问答服务应用搭建

文章目录 痛点项目缘起技术选型fine-tuningfew shot prompt engineering选定方案的特征描述 模型赛马gpt4all调优部署时踩坑python3.9 header缺失 -- 安装下缺失的就行运行时参数调优 代码分析项目代码库代码 效果展示例子1例子2 附录:所用的公司内部API文档例子&am…

2、简单上手+el挂载点+v-xx(v-text、v-html、v-on、v-show、v-if、v-bind、v-for)

官网&#xff1a; vue3&#xff1a;https://cn.vuejs.org/ vue2&#xff1a;https://v2.cn.vuejs.org/v2/guide/ 简单上手&#xff1a; 流程&#xff1a; 导入开发版本的Vue.js <!--开发环境版本&#xff0c;包含了有帮助的命令行警告--> <script src"https…

Qt+C++实现灯带动画运动位置变换移动跑马灯图片轮播

程序示例精选 QtC实现灯带动画运动位置变换移动跑马灯图片轮播 如需安装运行环境或远程调试&#xff0c;见文章底部个人QQ名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 这篇博客针对<<QtC实现灯带动画运动位置变换移动跑马灯图片轮播>>编写代码&…

JS二维数组转化为对象

将二维数组转化为对象的形式 转之前的数据&#xff1a; 转之后&#xff1a; const entries new Map([[foo, bar],[baz, 42],[beginNode, 202212151048010054],[beginNode, 202212151048447710],]); console.log(entries)const obj Object.fromEntries(entries);console.lo…

代码审计-RCE命令执行漏洞审计

代码审计必备知识点&#xff1a; 1、代码审计开始前准备&#xff1a; 环境搭建使用&#xff0c;工具插件安装使用&#xff0c;掌握各种漏洞原理及利用,代码开发类知识点。 2、代码审计前信息收集&#xff1a; 审计目标的程序名&#xff0c;版本&#xff0c;当前环境(系统,中间件…

Redis数据库学习

目录 第一章、Redis数据库的下载和安装1.1&#xff09;nosql数据库和 Redis 介绍1.2&#xff09;Windows中下载安装Redis数据库1.3&#xff09;Linux中安装Redis数据库1.4&#xff09;Linux中启动redis1.4&#xff09;Linux中关闭redis 第二章、三种Redis客户端连接Redis数据库…