Hadoop Spark安装方法

news/2025/1/8 4:19:09/文章来源:https://www.cnblogs.com/N3ptune/p/18658801

这里创建两台虚拟机，使用的虚拟机软件是Multipass

下载安装：https://canonical.com/multipass/install

输入：multipass list 输出虚拟机信息：

$ multipass list
Name                    State             IPv4             Image
host0                   Running           192.168.69.5     Ubuntu 20.04 LTS
host1                   Running           192.168.69.6     Ubuntu 20.04 LTS

登录虚拟机后配置好SSH免密登陆

执行：

wget https://dlcdn.apache.org/spark/spark-3.5.4/spark-3.5.4-bin-hadoop3.tgz # 下载spark
mv spark-3.5.4-bin-hadoop3.tgz /usr/local
tar -zxvf spark-3.5.4-bin-hadoop3.tgz

编辑~/.bashrc，在结尾加上：

export SPARK_HOME=/usr/local/spark-3.5.4-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin

执行source ~/.bashrc

在终端输入spark-shell即可运行

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/865679.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

OpenVX功能参数分析

OpenVX功能参数分析

3. 节点参数节点创建函数的参数定义为原子类型，如vx_int32、vx_enum，或对象，如vx_scalar、vx_image。框架应将节点创建功能的原子变量转换为vx_scalar引用，供节点使用。vx_scalar类型的节点参数，可以在图形执行期间更改；而如果改变原子类型的节点参数（vx_int32等），则至…
阅读更多...
OpenVX参数节点执行独立性

OpenVX参数节点执行独立性

8.节点执行独立性 在如图2-5所示例中，客户端根据输入图像、梯度幅度和梯度相位。OpenVX并不要求并行运行，但可以由OpenVX供应商实现。 图2-5 具有一些独立节点的简单图形。 构造这种图形的代码，如下所示。 vx_context context = vxCreateContext(); vx_image images[] = {…
阅读更多...
4书推荐《AI芯片开发核心技术详解》、《智能汽车传感器：原理设计应用》、《TVM编译器原理与实践》、《LLVM编译器原理与实践》

4书推荐《AI芯片开发核心技术详解》、《智能汽车传感器：原理设计应用》、《TVM编译器原理与实践》、《LLVM编译器原理与实践》

4本书推荐《AI芯片开发核心技术详解》、《智能汽车传感器：原理设计应用》、《TVM编译器原理与实践》、《LLVM编译器原理与实践》由清华大学出版社资深编辑赵佳霓老师策划编辑的新书《AI芯片开发核心技术详解》已经出版，京东、淘宝天猫、当当等网上，相应陆陆续续可以购买。该…
阅读更多...
BOF编写-修改时间戳

BOF编写-修改时间戳

模板配置 跟着网上的教程使用evilashz师傅的模板，下载模板解压至vs的模板目录： %UserProfile%\Documents\Visual Studio 2022\Templates\ProjectTemplates​​ 创建新项目选择刚刚新增的类型：Beacon Object File​。 ​​ ‍ 环境适配 生成时报错，我使用的是2022版本的，模…
阅读更多...
【分布式系统】 分布式调度 设计，要考虑 哪些问题？

【分布式系统】 分布式调度 设计，要考虑 哪些问题？

一、分布式调度框架的核心功能二、什么是 任务调度 ？三、什么是分布式 任务调度 ？四、分布式调度框架的主要功能五、分布式调度框架的核心业务场景六、分布式任务调度的核心组件七、分布式任务调度的架构模式八、常见的分布式调度框架包括九、XXL-Job的工作流程十、 Quartz 的…
阅读更多...
一文搞懂L1-L3业务流程体系分析，价值流、端到端流程、职能流程

一文搞懂L1-L3业务流程体系分析，价值流、端到端流程、职能流程

今天我们聊聊业务流程体系分析这个话题。 业务流程的概念 业务流程是企业为实现目标而制定的一套系统化的工作方法。它由一系列有序的业务活动组成，按照既定规则将资源（输入）转化为有价值的结果（输出）。 在业务架构分析阶段，业务流程发挥着关键作用： • 明确业务运作的方…
阅读更多...
[SSL/TLS/PKI] 基于`Let’s Encrypt`，获取免费SSL证书

[SSL/TLS/PKI] 基于`Let’s Encrypt`，获取免费SSL证书

缘起：云厂商卖的SSL证书太贵 概述：Let’s Encrypt 支持申请免费SSL证书的CA机构支持提供免费SSL证书的CA机构有：Let’s Encrypt ZeroSSL SSL For Free Cloudflare BuyPass AWS本文我们来试试 Let’s Encrypt 怎么用。https://letsencrypt.org/zh-cn/getting-started/Let’s …
阅读更多...
.NET 响应式编程 System.Reactive 系列文章（二）：深入理解 IObservableT 和 IObserverT

.NET 响应式编程 System.Reactive 系列文章（二）：深入理解 IObservableT 和 IObserverT

在 Rx 中，数据流的生产和消费是通过 观察者模式（Observer Pattern） 实现的。这种模式定义了两种角色： - IObservable.NET 响应式编程 System.Reactive 系列文章（二）：深入理解 IObservable<T> 和 IObserver<T>引言：为什么我们调整了学习顺序？ 在上一篇文章…
阅读更多...
WebPack站点实战（一）

WebPack站点实战（一）

以下文章来源于一位不愿透露姓名的热心网友 ，作者不愿透露姓名的热心网友 文章配套B站视频，很多话语简略了，建议配着视频看。 地址：https://www.bilibili.com/video/BV13F411P7XB/ 开始之前了，简单过一下下面几个方法加深印象，便于更好理解加载器。也可以直接从webpack标…
阅读更多...
CUDA概念

CUDA概念

1.1.0f加个f，成单精度计算，不加会默认成double 2.快速指令：__add()加两个下划线 3.CUDA计算能力1.3以上才支持双精度，4.0往后支持双精度浮点计算 单精度浮点型（float ）专指占用32位存储空间的单精度（single-precision ）值。单精度在一些处理器上比双精度更快而且只占用…
阅读更多...
12.09百度机器翻译SDK实验

12.09百度机器翻译SDK实验

一、实验要求百度机器翻译SDK实验（2024.11.15日完成） 任务一：下载配置百度翻译Java相关库及环境（占10%）。 任务二：了解百度翻译相关功能并进行总结，包括文本翻译-通用版和文本翻译-词典版（占20%）。 任务三：完成百度翻译相关功能代码并测试调用，要求可以实现…
阅读更多...
弹性波动力学笔记(十)罗格里德斯公式推导

弹性波动力学笔记(十)罗格里德斯公式推导

在应力计算中大量需要轴旋转公式计算，因此本笔记给出了罗格里德斯轴旋转公式Note: Derivation of the Rodriguez Formula In this Note, we will derive a formula for \(\mathbf{R}(\widehat{\mathbf{n}},\theta)\) . Consider the three dimensional rotation of a vecto…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023