前言
最近有很多朋友都开始转行大数据竞赛了,大部分都是刚刚入门之类的,我自己是有一些基础的,玩过一段时间,最近很多好友学弟,都问过一个问题就是有没有什么类似于远程控制,或者图形化控制HDFS的插件或者软件啥的,我就想起来有一个插件叫Big Data Tools,之前我学的时候几乎一直都是使用这个插件,巨巨巨好用,就想到出一片文章来为大家讲解一下这个工具,让大家又减少弯路,那就废话不多说了,接下来就是正文了
正文
简介
在Jetbrains的产品软件中,均可以安装插件,其中:Big Data Tools 插件可以帮助我们方便操作HDSF,比如:
IntelliJ IDEA(Java IDE),PyCharm (python IDE),DataGrip (SQL IDE)均可支持Bigdata Tool插件的安装
安装
以下我使用的是pycharm(应该也是大家拥有率最高的),重点!!!必须要使用专业版,社区版没有这个插件,打开pycharm的设置settings,然后找到plugins,搜索Big Data Tools
点击install安装该插件
配置windows
这个插件使用需要对windows系统做一些配置,才能更好的配合插件使用,解压Hadoop安装包到windows系统,如解压到:E:\hadoop-3.1.4,设置KaTeX parse error: Undefined control sequence: \hadoop at position 21: …P_HOME环境变量指向:E:\̲h̲a̲d̲o̲o̲p̲-3.1.4,将hadoop.…HADOOP_HOME/bin中
环境变量配置好后,需要重启电脑
配置插件
打开IDE,打开插件Big Data Tools
输入参数,URL ip加端口,name输入启动HDFS的用户名,最后点击Test connection连接测试,显示绿色的✔,就说明能连接,点击ok连接
还有一种方法就是使用Configuration Folder模式连接,下面选择etc\hadoop这个文件夹
因为我们刚刚安装的hadoop里面的配置文件是没有任何配置的,所以我从linux下将linux下的hadoop/etc/hadoop下的配置文件全部打包过来
放入到windows这个目录下,将之前的所有文件删除,将linux打包过来的放进去
再进行连接
完事
总结
在HDFS中结合插件Big Data Tools的使用,对于我们管理HDFS也是变的非常方便了,对于初学者也是非常的友好,能更好的理解