Hdoop学习笔记（HDP）-Part.13 安装Ranger

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十三、安装Ranger

1.安装服务

(1)Choose Services

在这里插入图片描述

(2)Assign Masters

在这里插入图片描述

(3)Assign Slaves and Clients

选择不安装Ranger Tagsync
在这里插入图片描述

(4)Customize Services

  • 设置RANGER ADMIN
    DB FLAVOR：选择MySQL，依据ambari使用的数据库来定
    Ranger DB name：设置ranger在数据库中的DB，默认ranger
    Ranger DB host：hdp01.hdp.com，选择安装MySQL的主机名
    Ranger DB username：设置ranger用户名，默认rangeradmin
    Ranger DB password：设置ranger密码，此处设置lnyd@LNsy115
    JDBC connect string for a Ranger database：自动生成
    DBA username：填入数据库连接用户名，默认root
    DBA password：填入数据库连接密码，此处设置lnyd@LNsy115
    JDBC connect string：数据库连接，前面的信息填写好后会自动生成
    在这里插入图片描述
    在这里插入图片描述
    在hdp01上设置ambari的MySQL JDBC
ambari-server setup --jdbc-db=mysql --jdbc-driver=/opt/mysql-connector-java-5.1.49.jar

在这里插入图片描述
然后在ambari界面点击“TEST CONNECTION”进行测试

  • 设置RANGER USER INFO
    Sync Source：选择“LDAP/AD”
    子选项卡：COMMON CONFIGS
    LDAP/AD URL：ldap://192.168.111.222:389
    Bind User：cn=admin,dc=hdp315,dc=com
    Bind User Password：设置为lnyd@LNsy115
    在这里插入图片描述
    子选项卡：USER CONFIGS
    Username Attribute：uid
    User Object Class：posixAccount
    User Search Base：ou=People,dc=hdp315,dc=com
    User Search Filter：cn=*
    User Search Scope：sub
    User Group Name Attribute：memberUid
    在这里插入图片描述
    子选项卡：GROUP CONFIGS
    Group Member Attribute：memberUid（对应template.ldif中的memberUid属性）
    Group Name Attribute：cn
    Group Object Class：posixGroup
    Group Search Base：ou=Group,dc=hdp315,dc=com
    Group Search Filter：cn=*
    在这里插入图片描述
  • 设置RANGER AUDIT
    未安装solr，关闭向Solr审计功能；将审计日志存储到HDFS
    在这里插入图片描述
  • 设置ADVANCED
    此处的用户密码统一设置为lnyd@LNsy115
    ADMIN Settings中的Ldap Base DN改为dc=hdp315,dc=com
    Ranger Settings中的External URL设置为http://hdp02.hdp.com:6080，此处设置为hdp01即可，不应该设置为192.168.111.222的vIP，否在调用相关URL时，会使用principal：HTTP/192.168.111.222@HDP315.COM，因为没有相关账号而报错401
    在这里插入图片描述

(5)Review

在这里插入图片描述

(6)Install,Start and Test

在这里插入图片描述

(7)Summary

在这里插入图片描述

2.安装plugin

在CONFIGS->RANGER PLUGIN中，启用对应服务的Plugin
在这里插入图片描述
启用Plugin后，对应的服务（hdfs）重启

3.测试

(1)用户同步测试

在OpenLDAP上新建测试账号tenant2

ldapadd -x -w "lnyd@LNsy115" -D "cn=admin,dc=hdp315,dc=com" -f /root/template.ldif

在这里插入图片描述
在ambari上重启UserSync服务，以重新同步（正常会周期性同步，为了即时同步，可重启该服务）
在这里插入图片描述
登录Ranger界面，http://192.168.111.201:6080，查看用户，确认OpenLDAP账号已经同步至Ranger上
在这里插入图片描述

(2)权限测试

以tenant1和tenant2为测试对象，设置tenant1在hdfs上的目录为/testhdfs/tenant1，tenant2在hdfs上的目录为/testhdfs/tenant2，在Ranger上未设置任何权限策略的情况下
先以hdfs管理员账号nn/hdp01.hdp.com@HDP315.COM登录kdc，然后创建对应的目录和赋权

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
hdfs dfs -mkdir -p /testhdfs/tenant1
hdfs dfs -mkdir -p /testhdfs/tenant2
hdfs dfs -chmod 777 /testhdfs/tenant1
hdfs dfs -chmod 777 /testhdfs/tenant2
hdfs dfs -ls /testhdfs

在这里插入图片描述
LDAP上已经有tenant1和tenant2两个账号，还需要在kerberos中同步建立好对应的账号

kadmin.local
addprinc -randkey tenant1
addprinc -randkey tenant2
ktadd -kt /root/keytab/tenant1.keytab tenant1
ktadd -kt /root/keytab/tenant2.keytab tenant2

分别以tenant1和tenant2账号登录kdc后，上传测试文件到自身的目录下

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -put /root/file1 /testhdfs/tenant1/
hdfs dfs -ls /testhdfs/tenant1
kdestroy
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -put /root/file2 /testhdfs/tenant2/
hdfs dfs -ls /testhdfs/tenant2

在这里插入图片描述
分别用两个账号查看对方目录下的文件内容，目前是以hdfs自身的权限控制为准，即777权限，因此可以查看

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -cat /testhdfs/tenant2/file2
kdestroy
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -cat /testhdfs/tenant1/file1

在这里插入图片描述
在Ranger上添加策略
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设置完成后，再次分别以tenant1和tenant2登录并查看权限情况

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -cat /testhdfs/tenant1/file1
hdfs dfs -cat /testhdfs/tenant2/file2
kinit -kt /root/keytab/tenant2.keytab tenant2
hdfs dfs -cat /testhdfs/tenant1/file1
hdfs dfs -cat /testhdfs/tenant2/file2

在这里插入图片描述

说明权限已经生效，账号仅能查看自身目录下的文件，其他目录权限已被Ranger锁死

(3)联合授权

Ranger为HDFS提供联合授权模型：

  • 用于HDFS的Ranger插件检查Ranger策略，如果存在策略，则授予用户访问权限。
  • 如果Ranger中不存在策略，则Ranger将默认使用HDFS（POSIX或HDFS ACL）中的本机权限模型。
    联合模型适用于Ranger中的HDFS和Yarn服务。对于其他服务，例如Hive或HBase，Ranger作为唯一授权者运行，这意味着只有Ranger策略生效。
    在HDFS中，CONFIGS->ADVANCED->Advanced ranger-hdfs-security中设置
    xasecure.add-hadoop-authorization=true，表示启用联合授权，即如果不存在权限，则由hdfs权限控制；false表示禁用联合授权，hdfs的权限不再生效，而是仅有Ranger来控制。
    在这里插入图片描述

配置完成后，重启hdfs服务
禁用Ranger上的tenant1策略，然后用tenant1和tenant2账号分别查看，因为/testhdfs/tenant1上没有策略，虽然hdfs权限为777，但因为非联合授权，因此仍被Ranger拒绝访问；而/testhdfs/tenant2在Ranger有策略控制，因此tenant2仍有权限查看
在这里插入图片描述

(4)查看审计日志

配置审计日志在hdfs上存储，路径为hdfs://hdp315/ranger/audit，将所有租户的执行行为进行记录

kinit -kt /etc/security/keytabs/nn.service.keytab nn/hdp01.hdp.com@HDP315.COM
hdfs dfs -cat /ranger/audit/hdfs/20230303/hdfs_ranger_audit_hdp02.hdp.com.1.log

在这里插入图片描述

4.启用HA

Ambari上启用Ranger HA，需要提前准备好负载均衡器，ambari上只是在另外一台服务器上配置好Ranger，实现两台的高可用关系，但前面的负载不是Ambari来负责管理。前面的负载采用KeepAlived+HAProxy实现。
在这里插入图片描述
复用在OpenLDAP中的KeepAlived+HAProxy

(1)配置HAProxy

在hdp04和hdp05上修改配置文件中的部分内容，/etc/haproxy/haproxy.cfg

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend  tcp_389_openldapbind *:389mode tcpstats uri /haproxy?statsdefault_backend  tcp_389_openldapfrontend  http_6080_rangerbind *:6080http-request set-header X-Forwarded-Proto httpstats uri /haproxy?statsdefault_backend  http_6080_ranger#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend tcp_389_openldapmode tcpbalance     roundrobinserver server1 hdp01.hdp.com:389 check weight 100server server2 hdp02.hdp.com:389 check weight 1backend http_6080_rangermode httpbalance     roundrobincookie LB insertserver  server1 hdp01.hdp.com:6080 maxconn 200 weight 10 cookie 1 check inter 5000 rise 3 fall 3server  server2 hdp02.hdp.com:6080 maxconn 200 weight 10 cookie 2 check inter 5000 rise 3 fall 3

启动服务

systemctl restart haproxy
systemctl status haproyx

(2)Ambari上启用HA

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
确认状态
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/239457.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

实现简单的Http服务器+SpringMvc，集成到Spring

实现简单的Http服务器+SpringMvc，集成到Spring

实现简单的Http服务器SpringMvc，集成到Spring 1、Http协议 1.1、HTTP 协议请求格式 方法 空格 URL 空格 版本 回车符 换行符头部域名称：头部域值 回车符 换行符...头部域名称：头部域值 回车符 …
阅读更多...
VMware下载安装教程

VMware下载安装教程

目录 一.下载二.安装 一.下载 官网地址：官网 下载的时候选择Workstation Player，这个是免费的，当然你也可以选择下载Workstation Pro。 二.安装 下载完成之后点击安装包按照需要安装即可。 安装之后启动，可以看到这个能够免费使…
阅读更多...
26. 深度学习进阶 - 深度学习的优化方法

26. 深度学习进阶 - 深度学习的优化方法

Hi, 你好。我是茶桁。 上一节课中我们预告了，本节课是一个难点，同时也是一个重点，大家要理解清楚。 我们在做机器学习的时候，会用不同的优化方法。 SGD 上图中左边就是Batch Gradient Descent，中间是Mini-Batch Gra…
阅读更多...
Linux系统的常见命令十三，显示系统进程状态、文件权限、修改文件或目录所有者和所属组命令（ps、chmod和chown）

Linux系统的常见命令十三，显示系统进程状态、文件权限、修改文件或目录所有者和所属组命令（ps、chmod和chown）

本文主要介绍Linux系统的显示系统进程状态、文件权限、修改文件或目录所有者和所属组命令，（ps、chmod和chown） 目录 显示系统进程状态文件权限设置（chmod）修改文件或目录所有者和所属组（chown） …
阅读更多...
进制转化总结

进制转化总结

来源，做个笔记，讲的还蛮清楚通信原理-2.5 数据封装与传输05_哔哩哔哩_bilibili ip地址范围 ​​​​​​​
阅读更多...
39.从0到上线三天搭建个人网站（第三天）

39.从0到上线三天搭建个人网站（第三天）

点赞收藏加关注，你也能住大别墅！ 一、第三天主要工作 1.完成detail页面的开发 2.将所有数据以及部分静态资源存在uniCloud，为以后做管理后台做准备 3.创建云对象getData，在beforecreate（）中获取数据 4.…
阅读更多...
C++ list容器

C++ list容器

文章目录 C++ list容器list基本概念list构造函数list 赋值和交换list 大小操作list 插入和删除list 数据存取list 反转和排序排序案例C++ list容器 list基本概念 功能：将数据进行链式存储 链表（list）是一种物理存储单元上非连续的存储结构，数据元素的逻辑顺序是通过链表中…
阅读更多...
8通道16位数据采集卡方案

8通道16位数据采集卡方案

硬件方案--采集板 下载链接！https://mp.weixin.qq.com/s?__bizMzU2OTc4ODA4OA&mid2247558420&idx1&sn3b1d6a99a69e68c32f425e489c21b6d5&chksmfcfaf6c3cb8d7fd52961827dedf30a79e65ed96e5b507bc5027d80f9285aa9bdcf790b940b51&token1650944467…
阅读更多...
python之pyqt专栏10-键盘事件

python之pyqt专栏10-键盘事件

需求 通过按键盘的上下左右，移动button的位置。 UI界面设计 代码 # 导入sys模块 import sysfrom PyQt6.QtCore import Qt # PyQt6.QtWidgets模块中导入QApplication, QWidget from PyQt6.QtWidgets import QApplication, QWidget# untitled模块中导入Ui_Form类 f…
阅读更多...
跳表的基础

跳表的基础

跳表的作用 无需数组查找目标元素-----从头遍历---O(n); 有序数组查找目标元素-----二分查找---O(logn); 链表查找目标元素----------只能从头遍历---O(n); 那么链表要如何实现O(logn)的查找时间复杂度呢-----跳表。 跳表的定义 有序链表多级索引跳表 就是一个多级链表 …
阅读更多...
css小技巧 linear-gradient

css小技巧 linear-gradient

设计图&#xff1a; 现在的要求是不准用图片&#xff0c;好吧&#xff0c;那就用代码简单实现下。 方式1&#xff1a;svg <svg xmlns"http://www.w3.org/2000/svg" version"1.1"><rect x"-30" y"1" rx"8" ry&quo…
阅读更多...
栈实现队列，力扣

栈实现队列，力扣

题目地址&#xff1a; 232. 用栈实现队列 - 力扣&#xff08;LeetCode&#xff09; 难度&#xff1a;简单 今天刷栈实现队列&#xff0c;大家有兴趣可以点上看看题目要求&#xff0c;试着做一下。 题目&#xff1a; 请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023