来,把手机放在桌上,屏幕朝上。
反爬虫系统的升级工作比预想的要复杂得多。
赵磊带着团队连续工作了三天三夜,写出了一个新的访问频率控制系统,部署在服务器的最前端。
每一秒钟,系统都要处理几百个请求,对每一个请求做实时分析——
IP地址、请求频率、访问路径、USer-Agent、行为模式——
全部算一遍,在零点几秒内做出判断:是真实用户还是爬虫?是放行还是拦截还是限流?
第一天,系统上线之后运行了不到两个小时,就出现了问题。
限流阈值设得太低了,一些真实用户在短时间内连续操作被误判为爬虫,页面打不开,投诉电话打了进来。
赵磊紧急把阈值从十次调到了十五次,又调到了二十次,观察了两个小时,误伤的情况减少了,但服务器的负载又上去了。
他在阈值和服务器的承载能力之间反复调整,像是在走一根细钢丝,往左偏一点会摔,往右偏一点也会摔。
【跪求礼物,免费的为爱发电也行!】
61510597
极地苍狼提醒您:看完记得收藏【暮色书屋】 www.msunonline.com,下次我更新您才方便继续阅读哦,期待精彩继续!您也可以用手机版:m.msunonline.com,随时随地都可以畅阅无阻...