完成专门针对火车头的单UA的拦截

Author: wenjun1055

config.lua

@@ -5,6 +5,11 @@ local Config = {
 	-- key是否动态生成,可选static,dynamic,如果选dynamic,下面所有的keySecret不需要更改,如果选static,修改手动修改下面的keySecret
 	keyDefine = "dynamic",
 
+	-- 被动防御,限制UA请求模块。根据在一定时间内统计到的单个UA请求次数作限制（专门针对火车头采集工具）
+	-- state : 为此模块的状态，表示开启或关闭，可选值为On或Off;
+	-- maxReqs，amongTime : 在amongTime秒内允许请求的最大次数maxReqs，如默认的是在10s内最大允许请求50次。
+	limitUaModules = { state = "On" , maxReqs = 5 , amongTime = 5},
+
 	-- 被动防御,限制请求模块。根据在一定时间内统计到的请求次数作限制,建议始终开启
 	-- state : 为此模块的状态，表示开启或关闭，可选值为On或Off;
 	-- maxReqs，amongTime : 在amongTime秒内允许请求的最大次数maxReqs，如默认的是在10s内最大允许请求50次。

guard.lua

@@ -65,8 +65,8 @@ end
 
 --收集不在白名单中的蜘蛛ip
 function Guard:collectSpiderIp(ip, headers)
-	spiderPattern = "baiduspider|360spider|sogou web spider|sogou inst spider|mediapartners|adsbot-google|googlebot"
-	userAgent = string.lower(headers["user-agent"])
+	local spiderPattern = "baiduspider|360spider|sogou web spider|sogou inst spider|mediapartners|adsbot-google|googlebot"
+	local userAgent = string.lower(headers["user-agent"])
 	if ngx.re.match(userAgent, spiderPattern) then 
 		local filename = _Conf.logPath.."/spider_ip.log"
 		local file = io.open(filename, "a+")
@@ -76,15 +76,65 @@ function Guard:collectSpiderIp(ip, headers)
 end
 
 --黑名单模块
-function Guard:blackListModules(ip,reqUri)
+function Guard:blackListModules(ip, reqUri, headers)
 	local blackKey = ip.."black"
 	if _Conf.dict:get(blackKey) then --判断ip是否存在黑名单字典
 		self:debug("[blackListModules] ip "..ip.." in blacklist",ip,reqUri)
 		self:takeAction(ip,reqUri) --存在则执行相应动作
-	end	
+	end
+
+	if _Conf.limitUaModulesIsOn then
+		local userAgent = headers["user-agent"]
+		--不存在UA直接抛验证码
+		if not userAgent then
+			self:debug("[limitUaModules] ip "..ip.." not have ua", ip, reqUri)
+			self:takeAction(ip,reqUri) --存在则执行相应动作
+		end
+
+		local blackUaKey = uaMd5 .. 'BlackUAKey'
+		if _Conf.dict:get(blackUaKey) then --判断ua是否存在黑名单字典
+			self:debug("[blackListModules] ip "..ip.." in ua blacklist".." "..userAgent, ip, reqUri)
+			self:takeAction(ip,reqUri) --存在则执行相应动作
+		end
+	end
 end
 
---限制请求速率模块
+--限制UA请求速率模块
+function Guard:limitUaModules(ip, reqUri, address, headers)
+	local userAgent = headers["user-agent"]
+	--不存在UA直接抛验证码
+	if not userAgent then
+		self:debug("[limitUaModules] ip "..ip.." not have ua", ip, reqUri)
+		self:takeAction(ip,reqUri) --存在则执行相应动作
+	end
+
+	local uaMd5 = ngx.md5(userAgent)
+	local blackUaKey = uaMd5 .. 'BlackUAKey'
+	local limitUaKey = uaMd5 .. 'LimitUaKey'
+	local uaTimes = _Conf.dict:get(limitUaKey) --获取此ua请求的次数
+
+	--增加一次请求记录
+	if uaTimes then
+		_Conf.dict:incr(limitUaKey, 1)
+	else
+		_Conf.dict:set(limitUaKey, 1, _Conf.limitUaModules.amongTime)
+		uaTimes = 0
+	end
+
+	local newUaTimes  = uaTimes + 1
+		self:debug("[limitUaModules] newUaTimes " .. newUaTimes .. "  " .. userAgent, ip, reqUri)
+
+		--判断请求数是否大于阀值,大于则添加黑名单
+		if newUaTimes > _Conf.limitUaModules.maxReqs then --判断是否请求数大于阀值
+			self:debug("[limitUaModules] ip "..ip.. " request exceed ".._Conf.limitUaModules.maxReqs.." "..userAgent, ip, reqUri)
+			_Conf.dict:set(blackUaKey, 0, _Conf.blockTime) --添加此ip到黑名单
+			self:log("[limitUaModules] IP "..ip.." visit "..newReqTimes.." times,block it. "..userAgent)
+		end
+
+end
+
+
+--限制IP请求速率模块
 function Guard:limitReqModules(ip,reqUri,address)
 	if ngx.re.match(address,_Conf.limitUrlProtect,"i") then	
 		self:debug("[limitReqModules] address "..address.." match reg ".._Conf.limitUrlProtect,ip,reqUri)	

init.lua

@@ -121,6 +121,7 @@ end
 _Conf = {
 
 	--引入原始设置
+	limitUaModules = Config.limitUaModules,
 	limitReqModules = Config.limitReqModules,
 	redirectModules = Config.redirectModules,
 	JsJumpModules = Config.JsJumpModules,
@@ -137,6 +138,7 @@ _Conf = {
 	captchaKey = Config.captchaKey,
 
 	--解析开关设置
+	limitUaModulesIsOn = optionIsOn(Config.limitUaModules.state),
 	limitReqModulesIsOn = optionIsOn(Config.limitReqModules.state),
 	whiteIpModulesIsOn = optionIsOn(Config.whiteIpModules.state),
 	fileBlackIpModulesIsOn = optionIsOn(Config.blackIpModules.state),

runtime.lua

@@ -40,9 +40,15 @@ else
 		Guard:collectSpiderIp(ip, headers)
 
 		--黑名单模块
-		Guard:blackListModules(ip,reqUri)
+		Guard:blackListModules(ip, reqUri, headers)
 
-		--限制请求速率模块
+		--限制UA请求速率模块
+		if _Conf.limitUaModulesIsOn then
+			Guard:debug("[limitUaModules] limitUaModules is on.",ip,reqUri)
+			Guard:limitUaModules(ip, reqUri, address, headers)
+		end
+
+		--限制IP请求速率模块
 		if _Conf.limitReqModulesIsOn then --limitReq模块是否开启
 			Guard:debug("[limitReqModules] limitReqModules is on.",ip,reqUri)
 			Guard:limitReqModules(ip,reqUri,address)

url-protect/white_ip_list.txt

@@ -2,14 +2,13 @@
 61.155.149.*
 61.182.137.*
 117.27.149.*
-117.34.28.*
+117.34.28.1.*
 119.188.132.*
 119.188.14.*
 119.63.193.*
 123.125.71.*
 180.76.5.*
 180.76.6.*
 183.60.235.*
-185.10.104.*
 220.181.108.*
 222.216.190.*