Hadoop单机模式

1.安装JDK

1.1 下载解压

tar zxf jdk-8u151-linux-x64.tar.gz -C /usr/local/src
mv jdk-8u151-linux-x64 java

1.2 添加环境变量

export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin

source /etc/prifile
java -version



2.安装Hadoop

1.1 下载解压

tar zxf hadoop-3.4.0.tar.gz -C /usr/local/src/
mv hadoop-3.4.0 hadoop

1.2 添加环境变量

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/prifile
hadoop version
最终环境变量是这个样子的:



3.测试

3.1 创建input/data.txt文件输入以下内容

hadoop!
hadoop hello!
hadoop 2

3.2 运行测试用例

hadoop jar /usr/local/src/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount input/data.txt output
结果如图:

jar *.jar wordcount 是jar包的运行格式,指定jar包 包名 主类
可以输入多个文件
输出目录必须不存在



ps:
开启虚拟机前检查主机环境
1.网络适配器中VMware Virtual Ethernet Adapter for VMnet8是否开启
2.虚拟网络编辑器中的VMnet8下子网IP是否与虚拟机DHCP分配到的ip地址在同一网段(前三个字段一致)
3.虚拟机是否开启网络连接
虚拟机查询IP命令:ip a
pps:
secureFX已经设置UTF-8显示中文时仍然乱码
参考路径:E:\SecureCRT\Data\Settings\Config\Sessions
安装路径下找到你的虚拟机ip.ini作如下修改后重启secureFX

原文链接:
https://blog.csdn.net/baochanghong/article/details/51506271#:~:text=secureFX




p*4s:
SecureCRT设置字符编码及改变字体大小





p*5s:
可以分别依次进入/opt/software/usr/local/src/,然后cd -快速切换工作目录

下载链接:
JDK-华为镜像
Hadoop-清华镜像

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/809696.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql读写分离的最佳实践

一. 传统的读写分离方式 在 MySQL 中实现读写分离可以通过以下几种方式来达到目的: 1. 主从复制 使用主从复制(Master-Slave Replication)是实现读写分离的常见方式。主库:处理所有的写入操作(INSERT、UPDATE、DELETE)。 从库:负责处理读操作(SELECT)。步骤:设置主从…

《机器学习初步》笔记 第一章

第一章 绪论 1.1 引言 机器学习的经典定义:利用经验(数据)改善系统自身的性能 经典的机器学习过程:机器学习最重要的理论模型:PAC(概览近似正确)1.2 基本术语 数据集:一组记录的集合 学习/训练:通过执行某个学习算法,得到模型,学的的模型对应数据的某种潜在规律 示例…

XTimer定时微服务项目

定时微服务项目,分布式架构下的定时器Xtimer定时微服务 项目背景 在学校社团中,有给社团成员发送活动通知的任务需求 有定期执行某项任务的需求,比如每周末举办一次线下活动,每个月举行一次团建 再比如,我有一个任务需要设置定时发布 定时微服务调研对比方案 不足点JavaTi…

集合竞价如何看强弱?

买股票前先把集合竞价搞懂 一、集合竞价介绍 1. 什么是集合竞价 所谓集合竞价是指在股票每个交易日上午9:15—9:25,由投资者按照自己所能接受的心理价格自由地进行买卖申请。详情可参考下图:注:严谨的集合竞价时间为9:15-9:25,下文在聊到集合竞价时候我会把9:25-9:30时间…

ECS云服务器搭建Mysql,并提供公网连接

搭建mysql8.0参考:https://blog.csdn.net/ShockChen7/article/details/126965940 搭建完成之后,使用navicat发现连接不上,发现是因为安全组没有设置:安全组需要开放3306端口。 百度参考: 然后我改了下安全组就可以供外部连接了。

清单文件 AndroidManifest.xml

每个应用的根目录中都必须包含一个 AndroidManifest.xml,并且文件名必须一模一样。 这个文件中包含了APP的配置信息,系统需要根据里面的内容运行APP的代码,显示界面。

20222420 2024-2025-1 《网络与系统攻防技术》实验一实验报告

1.实验内容 1.1 学习内容总结 1.1.1 初步了解缓冲区溢出漏洞 首先学习了安全漏洞的相关概念,然后聚焦在其中的缓冲区溢出漏洞上。学习了缓冲区溢出漏洞相关的定义和发生的原因,并了解了缓冲区溢出发展历史上的经典攻击,如红色代码蠕虫、冲击波病毒、震荡波病毒、心脏出血、乌…

《机器学习》 学习记录 - 第一章

早就听说西瓜书的大名,也是和它见上面了 第1章 绪论 1.1 引言 机器学习是一门致力于研究如何通过计算的手段,利用经验来改善系统自身的性能的学科。 经验 通常以 数据 形式存在,因此机器学习所研究的主要内容,是关于在计算机上从数据中产生 模型 的算法,即 学习算法 。 面…

再谈如何优雅修改代码

书接上回(https://t.zsxq.com/xo0M0)再做下扩展上文谈到:“基于抽象接口编程确实是最佳实践:把易于变动的功能点通过定义抽象接口的形式暴露出来,不同的实现做到隔离和扩展,这体现了开闭原则”public class Foo {private Bar bar ;@Injectpublic Foo(Bar bar) {this.bar …

为什么需要依赖注入

为什么需要“依赖注入” Case 1 public class Foo { private Bar bar; public Foo() { bar = new Bar(); } public void doSomething(int key) { String result = bar.getResult(key); //swithch result } } 反模式 ,在构造函数中,初始化了合作类,导致: • 外部使用者不知道…

嵌入式驱动开发学习路线整理

1、学习路线 1.1 知乎:菜鸟分享嵌入式Linux驱动开发学习路线与心得(一)嵌入式方向:嵌入式Linux系统中,往上有应用程序功能开发和界面设计,往下有内核编程相关的驱动开发; 学习嵌入式Linux需要的基础知识:C语言基础知识; 基础知识:操作系统相关知识、Linux系统基本使用…