Centos7+Hadoop3.3.4+KDC1.15+Ranger2.4.0集成

一、集群规划

        本次测试采用3台虚拟机,操作系统版本为centos7.6。

        kerberos采用默认YUM源安装,版本为:1.15.1-55

        Ranger版本为2.4.0   系统用户为ranger:ranger

IP地址主机名KDCRanger
192.168.121.101node101.cc.localKDC masterRanger Admin
192.168.121.102node102.cc.localKDC slaver 1级
192.168.121.103node103.cc.localKDC slaver 2级Ranger Admin
MYSQL

        注意:前期安装过ranger,已创建ranger用户和ranger用户组,参考文档:Centos7 + Apache Ranger 2.4.0 部署_centos安装配置apacherangerjdbc-CSDN博客文章浏览阅读2.7k次。Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。_centos安装配置apacherangerjdbchttps://blog.csdn.net/snipercai/article/details/132227718

二、创建Kerberos主体

1、创建主体

注意:ranger的用户名都是固定的,必须按照指定用户名创建实体
HTTP
rangeradmin
rangerlookup
rangerusersync

# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangeradmin/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerlookup/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey rangerusersync/node103.cc.local"
# kadmin -p kws/admin -w kws\!101 -q"addprinc -randkey HTTP/node103.cc.local"

2、生成keytab文件

# kadmin -p kws/admin -wkws\!101 -q"xst -k /etc/security/keytab/ranger.keytab rangeradmin/node103.cc.local rangerlookup/node103.cc.local rangerusersync/node103.cc.local HTTP/node103.cc.local"

3、修改keytab文件权限

# chown ranger:ranger /etc/security/keytab/ranger.keytab

三、配置Rangeradmin

1、修改install.properties

        修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

# ------- PolicyManager CONFIG ----------------
#

policymgr_external_url=http://node103.cc.local:6080

        修改Kerberos Config内容

#------------ Kerberos Config -----------------
spnego_principal=HTTP/node103.cc.local@CC.LOCAL
spnego_keytab=/etc/security/keytab/ranger.keytab
token_valid=30
cookie_domain=
cookie_path=/
admin_principal=rangeradmin/node103.cc.local@CC.LOCAL
admin_keytab=/etc/security/keytab/ranger.keytab
lookup_principal=rangerlookup/node103.cc.local@CC.LOCAL
lookup_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

2024-04-24 17:53:07,536  [I] Ranger all admins default password has already been changed!!
Installation of Ranger PolicyManager Web Application is completed.

3、启动服务

# su - ranger
# ranger-admin start

四、配置RangerUsersync

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

#Set to run in kerberos environment
usersync_principal=rangerusersync/node103.cc.local@CC.LOCAL
usersync_keytab=/etc/security/keytab/ranger.keytab
hadoop_conf=/opt/hadoop/hadoop-3.3.4/etc/hadoop/

2、重新安装

# ./setup.sh

[I] Successfully updated password of rangerusersync user

3、修改ranger-ugsync-site.xml

        修改conf/ranger-ugsync-site.xml

        <property>
                <name>ranger.usersync.enabled</name>
                <value>true</value>
        </property>

4、启动服务

# su - ranger
# ranger-usersync start

五、配置HDFS-Plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-hdfs-plugin.sh

# ./enable-hdfs-plugin.sh

3、重启HDFS服务

# start-dfs.sh

4、页面配置

Service Name    hdfs_repo
Display Name    hdfs_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
Namenode URL    hdfs://192.168.121.101:9000,hdfs://192.168.121.102:9000,hdfs://192.168.121.103:9000
Authorization Enabled    true
Authentication Type    kerberos
hadoop.security.auth_to_local    DEFAULT
dfs.datanode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.namenode.kerberos.principal    hadoop/_HOST@CC.LOCAL
dfs.secondary.namenode.kerberos.principal    --
RPC Protection Type    authentication
Common Name for Certificate    --
policy.download.auth.users    hadoop
dfs.journalnode.kerberos.principal    hadoop/_HOST@CC.LOCAL

六、配置Yarn-plugin

1、修改install.properties

修改policymgr地址,从原来的IP改为hostname,因为Kerberos认证是针对hostname

POLICY_MGR_URL = http://node103.cc.local:6080

2、重新安装

# ./disable-yarn-plugin.sh

# ./enable-yarn-plugin.sh

3、重启yarn服务

# start-yarn.sh

4、页面配置

Service Name    yarn_repo
Display Name    yarn_repo
Description    --
Active Status    Enabled
Tag Service    --
Username    hadoop
Password    *****
YARN REST URL    http://192.168.121.101:8088,http://192.168.121.102:8088
Authentication Type    kerberos
Common Name for Certificate    hadoop/_HOST@CC.LOCAL
policy.download.auth.users    hadoop

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/660524.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI图书推荐:将 ChatGPT和Excel融合倍增工作效率

《将 ChatGPT和Excel融合倍增工作效率》&#xff08; Hands-on ChatGPT in Excel. Enhance Your Excel Workbooks&#xff09;由Mitja Martini撰写&#xff0c;旨在教授读者如何将ChatGPT与Excel结合使用&#xff0c;以提升工作效率和创造AI增强的Excel工具。它还提供了Excel中…

Apache DolphinScheduler支持Flink吗?

随着大数据技术的快速发展&#xff0c;很多企业开始将Flink引入到生产环境中&#xff0c;以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台&#xff0c;Apache DolphinScheduler也跟上了时代步伐&#xff0c;推出了对Flink任务类型的支持。 Flink是一个开源的分…

【练习1】

1.字符串最后一个单词的长度 #include <iostream> #include<string> using namespace std;int main() {string a;int res,i,flag;flag1;i0;getline(cin,a);res0;while(flag1){if(a[i]! ){resres1;}else{res0;}if(ia.length()-1){flag-1;}i;}cout<<res<<…

ChatGPT 网络安全秘籍(四)

原文&#xff1a;zh.annas-archive.org/md5/6b2705e0d6d24d8c113752f67b42d7d8 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 第八章&#xff1a;事故响应 事故响应是任何网络安全策略的关键组成部分&#xff0c;涉及确定、分析和缓解安全漏洞或攻击。 及时和有效地…

网络安全是智能汽车下一个要卷的方向?

2024年一季度&#xff0c;中国汽车市场延续了2023年的风格&#xff0c;核心就是「卷」。 2023年&#xff0c;我国汽车市场爆发「最强价格战」&#xff0c;燃油车的市场空间不断被挤压&#xff0c;如今只剩下最后一口气。近日乘联会发布4月1-14日最新数据&#xff0c;新能源&am…

聊聊 ASP.NET Core 中间件(一):一个简单的中间件例子

前言&#xff1a;什么是中间件 服务器在收到 HTTP 请求后会对用户的请求进行一系列的处理&#xff0c;比如检查请求的身份验证信息、处理请求报文头、检查是否存在对应的服务器端响应缓存、找到和请求对应的控制器类中的操作方法等&#xff0c;当控制器类中的操作方法执行完成…

ECharts在网页中添加可视化图标-在网页中添加交互图表+option模块案列详解

一、引言 ECharts 是一个使用 JavaScript 编写的开源可视化库&#xff0c;它可以在浏览器中生成交互式的图表。无论是折线图、柱状图、散点图还是饼图&#xff0c;ECharts 都能轻松应对。本文将带领大家了解如何在网页中添加 ECharts 可视化图标。 本章可以直接跳到第五点完整…

k8s 资源组版本支持列表

1 kubernetes的资源注册表 kube-apiserver组件启动后的第一件事情是将Kubernetes所支持的资源注册到Scheme资源注册表中,这样后面启动的逻辑才能够从Scheme资源注册表中拿到资源信息并启动和运行API服务。 kube-apiserver资源注册分为两步:第1步,初始化Scheme资源注册表;…

prime1--vulnhub靶场通关教程

一. 信息收集 1. 探测目标主机IP地址 arp-scan -l //查看网段 vm 编辑--查看虚拟网络编辑器&#xff0c;看到靶机的网段 网段是&#xff1a; 192.168.83.0 是c段网络 2. 全面检测目标IP nmap -sP 192.168.83.1/24 靶机ip是&#xff1a; 192.168.83.145 攻击机的ip是&…

第三节课,功能2:开发后端用户的管理接口--http client -- debug测试

一、idea 中 Http client 使用 二、测试步骤&#xff0c;先进入主程序 2.1 先run &#xff0c;再debug 2.2 再进入想要测试的代码 2.2.1 进入测试的接口 三、程序逻辑 1&#xff09;用户注册逻辑&#xff1a;如果用户不存在再后端&#xff0c;看用户名&密码&校验码是…

Oracle索引组织表与大对象平滑迁移至OceanBase的实施方案

作者简介&#xff1a;严军(花名吉远)&#xff0c;十年以上专注于数据库存储领域&#xff0c;精通Oracle、Mysql、OceanBase&#xff0c;对大数据、分布式、高并发、高性能、高可用有丰富的经验。主导过蚂蚁集团核心系统数据库升级&#xff0c;数据库LDC单元化多活项目&#xff…