Windows下安装Spark(亲测成功安装)

Windows下安装Spark

  • 一、Spark安装前提
    • 1.1、JDK安装(version:1.8)
      • 1.1.1、JDK官网下载
      • 1.1.2、JDK网盘下载
      • 1.1.3、JDK安装
    • 1.2、Scala安装(version:2.11.12)
      • 1.2.1、Scala官网下载
      • 1.2.2、Scala网盘下载
      • 1.2.3、Scala安装
      • 1.2.4、验证Scala是否安装成功
    • 1.3、Hadoop安装(version:2.7.2)
  • 二、安装Spark(version:2.4.7)
    • 1.1.1、Spark官网下载
    • 1.1.2、Spark网盘下载
    • 1.1.3、Spark安装
    • 1.2.4、验证Spark是否安装成功

一、Spark安装前提

安装Spark之前,需要安装JDK、Hadoop、Scala。
本次安装版本选择:
JDK:1.8
Hadoop:2.7.2
Scala:2.11.12
Spark:2.4.7

1.1、JDK安装(version:1.8)

1.1.1、JDK官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.1.2、JDK网盘下载

或者网盘下载:https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.1.3、JDK安装

安装方法就不赘述了。

1.2、Scala安装(version:2.11.12)

1.2.1、Scala官网下载

官网下载地址:https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi

1.2.2、Scala网盘下载

网盘下载地址:https://pan.baidu.com/s/1Qiy1aEndKn_Xs-zSSLaWIA?pwd=yyds

1.2.3、Scala安装

本地点击msi文件安装,安装目录为 D:\bigdata\scala\2.11.12\
设置环境变量 %SCALA_HOME%
在这里插入图片描述
环境变量Path添加条目%SCALA_HOME%\bin
在这里插入图片描述

1.2.4、验证Scala是否安装成功

为了验证Scala是否安装成功,开启一个新的cmd窗口。
输入:Scala
在这里插入图片描述
可以看到Scala安装成功。

1.3、Hadoop安装(version:2.7.2)

参考博文:Windows下安装Hadoop(手把手包成功安装)

二、安装Spark(version:2.4.7)

1.1.1、Spark官网下载

官网下载地址:https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz

1.1.2、Spark网盘下载

网盘下载地址:https://pan.baidu.com/s/1VyVLwnSvdMzSocj37xlErQ?pwd=yyds

1.1.3、Spark安装

本地解压spark文件,目录为 D:\bigdata\spark\2.4.7\
设置环境变量 %SPARK_HOME%
在这里插入图片描述
环境变量Path添加条目%SPARK_HOME%\bin
跟上面配置环境变量一样的配置方法。
在这里插入图片描述

1.2.4、验证Spark是否安装成功

为了验证Spark是否安装成功,开启一个新的cmd窗口。
输入:spark-shell
在这里插入图片描述
显示上面的正常运行界面,表示本地的spark环境已搭建完成!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/53137.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLVM笔记1

参考:https://www.bilibili.com/video/BV1D84y1y73v/?share_sourcecopy_web&vd_sourcefc187607fc6ec6bbd2c74a3d0d7484cf 文章目录 零、入门名词解释1. Compiler & Interpreter2. AOT静态编译和JIT动态解释的编译方式3. Pass4. Intermediate Representatio…

AirLink 101 Wireless N 150 PCI Adapter驱动和管理软件

从光盘里拷出来的,界面比较复古,实际功能聊胜于无 链接:https://pan.baidu.com/s/1clUcp7QsF8QMWdGoZkc_dQ?pwdmkra 提取码:mkra

开放式耳机怎么样?值得入手的开放式耳机推荐

​蓝牙耳机是现代音乐爱好者不可或缺的装备,近几年热门的开放式耳机似乎更受大家热爱,它们能够带来更加清晰、自然的声音体验,同时还能让你在听音乐时保持一定的舒适度。那么,都有哪些好用的开放式耳机呢?希望通过今天…

记录--基于css3写出的流光登录(注释超详细!)

这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 完整效果 对基本的表单样式进行设置 这里设置了基本的表单样式,外层用了div进行包裹,重点是运用了两个i元素在后期通过css样式勾画出一条线没在聚焦文本框的时候线会过度成一个…

【前端】对前端小白极为友好的JS DOM入门文章

在现代web开发中,JavaScript (JS) 是不可或缺的一部分,它使我们能够为网页赋予交互性和动态性。其中,DOM(文档对象模型)技术在前端开发中起着至关重要的作用。本篇博客将带领前端初学者深入理解JavaScript DOM技术&…

【数据结构】快速排序

快速排序是一种高效的排序算法,其基本思想是分治法。它将一个大问题分解成若干个小问题进行解决,最后将这些解合并得到最终结果。 快速排序的主要思路如下: 选择一个基准元素:从待排序的数组中选择一个元素作为基准(…

PAT 1002 A+B for Polynomials

个人学习记录,代码难免不尽人意 Output Specification: For each test case you should output the sum of A and B in one line, with the same format as the input. Notice that there must be NO extra space at the end of each line. Please be accurate to 1…

炼钢工艺流程(2)

1. 轧制单元 更换前后两个工作辊之间的轧制对象称为轧制单元,对应一个轧制计划。两个 支撑辊之间的轧制对象是由多个轧制单元组成,称为轧制单元组,对应多个轧制计 划。 轧制单元的结构 每个计划开始的部分板坯按照宽度非减的方向排列来加热轧…

RISC-V - 小记

文章目录 关于 RISC-V安装 关于 RISC-V RISC : Reduced Instruction Set Computing RISC-V(“RISC five”)的目标是成为一个通用的指令集架构(ISA) 官网:https://riscv.orggithub : https://github.com/riscv 教程 [完结] 循序渐进,学习开发一个RISC-…

35岁体能断崖,裁员热潮,焦虑倍增,你当如何应对?

小明是一个35岁的研发工程师,最近正面临工作压力和身体状况的双重挑战。他在一家大厂工作多年,但由于公司裁员的原因,他也成为了其中的一员。 小明虽然年龄已经不再年轻,但他一直以来都非常注重自己的体能状况。每天早上&#xf…

SpringBoot+AOP+Redission实战分布式锁

文章目录 前言一、Redission是什么?二、使用场景三、代码实战1.项目结构2.类图3.maven依赖4.yml5.config6.annotation7.aop8.model9.service 四、单元测试总结 前言 在集群环境下非单体应用存在的问题:JVM锁只能控制本地资源的访问,无法控制…

elasticSearch常见的面试题

常见的面试问题 描述使用场景 es集群架构3个节点,根据不同的服务创建不同的索引,根据日期和环境,平均每天递增60*2,大约60Gb的数据。 调优技巧 原文参考:干货 | BAT等一线大厂 Elasticsearch面试题解读 - 掘金 设计阶…