Hadoop生态系统中包含多种与其相关联的技术应用，主要包括但不限于HDFS
- HDFS（Hadoop Distributed File System）：作为一个高度可靠、高吞吐量的分布式文件系统，它是Hadoop核心技术之一，用于存储海量数据。
Java语言实现HDFS存储超大文件，可以通过以下步骤进行：
-
导入Hadoop相关的依赖库。在Maven项目中，可以在pom.xml文件中添加以下依赖：
<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.3.1</version></dependency>
</dependencies>
-
创建Java项目并编写代码实现分块存储和上传大文件到HDFS。以下是一个简单的示例：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;public class HDFSExample {public static void main(String[] args) throws IOException, URISyntaxException {// 创建Hadoop配置对象Configuration conf = new Configuration();// 设置HDFS的URIconf.set("fs.defaultFS", "hdfs://localhost:9000");// 获取HDFS文件系统对象FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf);// 指定要上传的文件路径Path localSrc = new Path("path/to/local/largefile");// 指定HDFS上的目标路径Path hdfsDst = new Path("/path/to/hdfs/directory");// 将本地文件上传到HDFSfs.copyFromLocalFile(localSrc, hdfsDst);// 关闭文件系统对象fs.close();}
}
指定用户权限:
文件权限问题
上传成功的截图:
