Nginx Openresty通过Lua+Redis 实现动态封禁IP-编程知识

需求

为了封禁某些爬虫或者恶意用户对服务器的请求，我们需要建立一个动态的 IP 黑名单。对于黑名单中的 IP ，我们将拒绝提供服务。并且可以设置封禁失效时间

环境准备

linux version: centos7 / ubuntu 等
redis version: 5.0.5
nginx version: nginx-openresty

设计方案

实现 IP 黑名单的功能有很多途径：
1、在操作系统层面，配置 iptables，来拦截指定 IP 的网络请求。

优点：简单直接，在服务器物理层面上进行拦截
缺点：每次需要手动上服务器修改配置文件，操作繁琐且不灵活

2、在 Web 服务器层面，通过 Nginx 自身的 deny 选项或者 lua 插件配置 IP 黑名单。

优点：可动态实现封禁 ip，通过设置封禁时间可以做到分布式封禁
缺点：需要了解 Lua 脚本和 Nginx 配置，有一定的学习成本

3、在应用层面，在处理请求之前检查客户端的 IP 地址是否在黑名单中。

优点：通过编写代码来实现，相对简单且易于维护。
缺点：代码可能会变得冗长，而且在高并发情况下可能影响性能。

为了方便管理和共享黑名单，通过 nginx + lua + redis 的架构实现 IP 黑名单的功能
在这里插入图片描述

配置 nginx.conf

在需要进行限制的 server 的 location 中添加如下配置：

location / {# 如果该location 下存在静态资源文件可以做一个判断      #if ($request_uri ~ .*\.(html|htm|jpg|js|css)) {# access_by_lua_file /usr/local/lua/access_limit.lua;   #}access_by_lua_file /usr/local/lua/access_limit.lua; # 加上了这条配置，则会根据 access_limit.lua 的规则进行限流alias /usr/local/web/;index  index.html index.htm;
}

配置 lua 脚本

/usr/local/lua/access_limit.lua

-- 可以实现自动将访问频次过高的IP地址加入黑名单封禁一段时间--连接池超时回收毫秒
local pool_max_idle_time = 10000
--连接池大小
local pool_size = 100
--redis 连接超时时间
local redis_connection_timeout = 100
--redis host
local redis_host = "your redis host ip"
--redis port
local redis_port = "your redis port"
--redis auth
local redis_auth = "your redis authpassword";
--封禁IP时间（秒）
local ip_block_time= 120
--指定ip访问频率时间段（秒）
local ip_time_out = 1
--指定ip访问频率计数最大值（次）
local ip_max_count = 3--  错误日志记录
local function errlog(msg, ex)ngx.log(ngx.ERR, msg, ex)
end-- 释放连接池
local function close_redis(red)if not red thenreturnendlocal ok, err = red:set_keepalive(pool_max_idle_time, pool_size)if not ok thenngx.say("redis connct err:",err)return red:close()end
end--连接redis
local redis = require "resty.redis"
local client = redis:new()
local ok, err = client:connect(redis_host, redis_port)
-- 连接失败返回服务器错误
if not ok thenclose_redis(client)ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end
--设置超时时间
client:set_timeout(redis_connection_timeout)-- 优化验证密码操作 代表连接在连接池使用的次数，如果为0代表未使用，不为0代表复用 在只有为0时才进行密码校验
local connCount, err = client:get_reused_times()
-- 新建连接，需要认证密码
if  0 == connCount thenlocal ok, err = client:auth(redis_auth)if not ok thenerrlog("failed to auth: ", err)returnend--从连接池中获取连接，无需再次认证密码
elseif err thenerrlog("failed to get reused times: ", err)return
end-- 获取请求ip
local function getIp()local clientIP = ngx.req.get_headers()["X-Real-IP"]if clientIP == nil thenclientIP = ngx.req.get_headers()["x_forwarded_for"]endif clientIP == nil thenclientIP = ngx.var.remote_addrendreturn clientIP
endlocal cliendIp = getIp();local incrKey = "limit:count:"..cliendIp
local blockKey = "limit:block:"..cliendIp--查询ip是否被禁止访问，如果存在则返回403错误代码
local is_block,err = client:get(blockKey)
if tonumber(is_block) == 1 thenngx.exit(ngx.HTTP_FORBIDDEN)close_redis(client)
endlocal ip_count, err = client:incr(incrKey)
if tonumber(ip_count) == 1 thenclient:expire(incrKey,ip_time_out)
end
--如果超过单位时间限制的访问次数，则添加限制访问标识，限制时间为ip_block_time
if tonumber(ip_count) > tonumber(ip_max_count) thenclient:set(blockKey,1)client:expire(blockKey,ip_block_time)
endclose_redis(client)