php连接hdfs初步探索

一、phdfs拓展

结果:暂时舍弃

安装此拓展时,无法make成功,因为缺少hdfs.n文件。

换了其他版本的拓展包,并编译都没有找到此文件。

后搜到官网的相关资料,此hdfs.h的文件路径的地址是$HADOOP_HDFS_HOME/include/hdfs.h。

顿时对此拓展失去了好感觉,因为这意味着,我必须再PHP环境中再装一个hdfs。很不符合常规的目前的应用场景。

而且网上用此拓展人的并不多,暂时舍弃。

二、webhdfs php文件包

结果:容易产生权限问题

看了下webhdfs的源码,只是普通的抓包代码。

所以核心还是hadoop中,原来hadoop对hdfs提供的http的访问模式,只需要对hdfs_site.xml的配置中关于http的访问开启即可。

配置好hadoop后,用curl命令进行访问测试,并不顺利,容易受到权限的影响。

由于我对hadoop的了解较少,具体的权限分析,我还要再研究下

三、httpfs

结果:可用。

基本上公司用的httpfs(但却叫成了webhdfs),httpfs默认端口为14000,但webhdfs的默认端口为50070。

这两个模块有几乎相同的作用。

WebHDFS REST API

Apache Hadoop 2.4.1 - Hadoop Distributed File System-2.4.1 - WebHDFS REST API

资料显示:

webhdfs与httpfs的主要区别在于:webhdfs需要访问集群的所有节点,当读取某些数据时,它直接从该节点传输,而在httpfs中,单个节点的作用类似于“网关”,将是向客户机节点传输数据的单点。因此,在大型文件传输过程中,httpfs可能会被阻塞,但好处是我们正在最小化访问hdfs所需的占用空间。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/504722.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【计算机网络_应用层】协议定制序列化反序列化

文章目录 1. TCP协议的通信流程2. 应用层协议定制3. 通过“网络计算器”的实现来实现应用层协议定制和序列化3.1 protocol3.2 序列化和反序列化3.2.1 手写序列化和反序列化3.2.2 使用Json库 3.3 数据包读取3.4 服务端设计3.5 最后的源代码和运行结果 1. TCP协议的通信流程 在之…

安装OPC报1603错误的处理

因为本电脑调试过OPC Client软件,设置过DCOM,待安装OPC Server时报1603错误: 研究颇久,后来发现修改一下dcom配置就好了: 运行 dcomcnfg,将“我的电脑”属性修改如下:

自注意力机制(Self-Attention)

注意:本文引用自专业人工智能社区Venus AI 更多AI知识请参考原站(【http://www.aideeplearning.cn】) Transformer模型中最关键部分就是自注意力(Self-Attention)机制,正如 Transformer 的论文的标题是“…

⭐每天一道leetcode:13.罗马数字转整数(简单)

⭐今日份题目 罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。 字符 数值 I 1 V 5 X 10 L 50 C 100 D 500 M 100…

拒绝机械风,让ChatGPT像真人一样对话

拒绝机械风,让ChatGPT像真人一样对话 在这个信息爆炸的时代,人工智能技术的快速发展让我们的生活变得更加便捷。 特别是在自然语言处理领域,ChatGPT的出现无疑是一次革命性的进步。 然而,虽然ChatGPT在很多方面表现出了惊人的能…

【VSCODE修改代码行间距】解决方案

在我们编码的过程中,由于显示字体和显示器的不同,会需要调整行间距,在vscode默认的选项中没有看到设定行间距的选项,不过,可以手动修改配置档达到目的。 1.打开设置 2.打开配置档,手动进行设定 3.在选项中添…

永磁同步电机无感FOC(龙伯格观测器)算法技术总结-实战篇

文章目录 1、ST龙伯格算法分析(定点数)1.1 符号说明1.2 最大感应电动势计算1.3 系数计算1.4 龙伯格观测器计算1.5 锁相环计算1.6 观测器增益计算1.7 锁相环PI计算(ST)1.8 平均速度的用意 2、启动策略2.1 V/F压频比控制2.2 I/F压频…

【全局异常处理记录】⭐️通过自定义全局处理器有效统一各种异常并记录

目录 前言 方案 示例 测试 总结 前言 朋友们大家好啊,随着项目的进行,接口也是越来越多了,每个接口无论调用成功与否,都要有相应的应对措施,总不能出错的时候返回一堆异常信息给调用者,所以每个接口都…

自学软件测试怎么学?

软件测试是一个变得越来越受欢迎的行业,在IT行业里面,也是初学比较容易的。但对小白而言,怎样学习才能做到快速入门,少走弯路呢? 步骤一:初学学软件测试,要先搞懂这种问题 要想进入到软件测试…

现代化数据架构升级:毫末智行自动驾驶如何应对年增20PB的数据规模挑战?-OceanBase案例

毫末智行是一家致力于自动驾驶的人工智能技术公司,其前身是长城汽车智能驾驶前瞻分部,以零事故、零拥堵、自由出行和高效物流为目标,助力合作伙伴重塑和全面升级整个社会的出行及物流方式。 在自动驾驶领域中,是什么原因让毫末智行…

多层感知机 + 代码实现 - 动手学深度学习v2 | 李沐动手学深度学习课程笔记

感知机 感知机≈二分类问题 感知机和其他问题的对比 训练感知机 如果小于等于零,说明预测错啦 ,其实就是同号为正,异号为负 举个分类的例子 增加样本,改变分类线 继续分类 感知机的收敛定理 XOR问题 XOR问题其实就是第1、3象限数…

基于springboot+vue的体育馆管理系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…