独立站面临的爬虫威胁:竞争对手批量抓取你的价格和产品数据、SEO 工具频繁抓取消耗服务器资源、恶意爬虫填表单提交垃圾内容。本文构建多层反爬虫防线,从 Cloudflare 边缘拦截到服务器行为检测,让合法用户正常访问,让爬虫无功而返。
一、Cloudflare Bot Fight Mode 配置
<code"> Cloudflare Dashboard → Security → Bots Super Bot Fight Mode(Pro 及以上): ✅ 明确的机器人 → Challenge(验证码挑战) ✅ 可疑机器人 → Challenge ✅ 已验证的搜索引擎爬虫 → Allow(Google/Bing/百度放行) 自定义规则(WAF Rules): 规则1:封禁已知爬虫 UA 条件:User-Agent contains "python-requests" OR "scrapy" OR "curl" OR "wget" OR "Go-http-client" 动作:Block 规则2:限制 API 端点访问频率 条件:URI Path contains "/api/products" AND Rate > 30 req/min 动作:Challenge(JS 验证)
二、Nginx 多层防护
<code"># 基于 User-Agent 的初级过滤
map $http_user_agent $bad_bot {
default 0;
~*scrapy 1;
~*python-requests 1;
~*masscan 1;
~*zgrab 1;
~*libwww 1;
~*curl 1; # 如果不需要 API curl 访问
}
server {
# 封禁恶意 UA
if ($bad_bot = 1) {
return 403 "Access Denied";
}
# 限制商品详情页访问频率(防止竞品批量抓取)
location ~* ^/products/ {
limit_req zone=product_rate burst=10 nodelay;
limit_req_status 429;
# ...
}
}
limit_req_zone $binary_remote_addr zone=product_rate:10m rate=2r/s;三、蜜罐链接(Honeypot)
<code"><!-- 在页面 HTML 中隐藏蜜罐链接(用 CSS 隐藏,真实用户看不到,爬虫会访问)--> <a href="/honeypot-trap" style="display:none" aria-hidden="true">sitemap</a> <!-- 蜜罐表单(真实用户不会填写隐藏字段)--> <form> <!-- 隐藏字段:真实用户浏览器不会填写,爬虫会自动填充 --> <input type="text" name="website" style="display:none" autocomplete="off" /> <!-- 真实表单字段 --> <input type="email" name="email" placeholder="邮箱" /> </form>
<code"># Nginx:访问蜜罐路径的 IP 加入黑名单并封禁1小时
location = /honeypot-trap {
# 将 IP 写入 Redis 黑名单
access_by_lua_block {
local redis = require "resty.redis"
local red = redis:new()
red:connect("127.0.0.1", 6379)
local ip = ngx.var.remote_addr
red:setex("honeypot_blocked:" .. ip, 3600, "1")
red:close()
}
return 200 "OK"; # 假装成功,让爬虫以为有价值
}
# 全站检查蜜罐黑名单
access_by_lua_block {
local redis = require "resty.redis"
local red = redis:new()
red:connect("127.0.0.1", 6379)
local blocked = red:get("honeypot_blocked:" .. ngx.var.remote_addr)
red:close()
if blocked ~= ngx.null and blocked then
ngx.status = 403
ngx.exit(403)
end
}四、行为异常检测
<code">import redis
from fastapi import Request
r = redis.Redis()
async def detect_bot_behavior(request: Request) -> bool:
"""检测异常行为特征"""
ip = request.client.host
ua = request.headers.get("user-agent", "")
referer = request.headers.get("referer", "")
signals = []
# 信号1:访问速度过快(5秒内访问超过10个页面)
visit_key = f"visits:{ip}"
visit_count = r.incr(visit_key)
r.expire(visit_key, 5)
if visit_count > 10:
signals.append("high_frequency")
# 信号2:无 Referer(直接访问深层页面)
if not referer and "/products/" in str(request.url):
signals.append("no_referer_deep_page")
# 信号3:User-Agent 包含版本号(真实浏览器会有完整 UA)
if len(ua) < 50: signals.append("short_ua") # 信号4:访问模式过于规律(机器人通常按顺序访问) pattern_key = f"pattern:{ip}" # ... 检测访问 URL 的规律性 # 综合判断(3个以上信号则视为爬虫) return len(signals) >= 3
五、对合法爬虫友好
<code"># robots.txt:明确告知各搜索引擎爬虫的访问规则 # /var/www/mysite/robots.txt User-agent: Googlebot Allow: / Disallow: /api/ Disallow: /admin/ User-agent: Baiduspider Allow: / Disallow: /api/ # 封禁已知的内容抓取爬虫 User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: / # Sitemap 位置 Sitemap: https://yourdomain.com/sitemap.xml
六、总结
反爬虫是「猫鼠游戏」——没有一劳永逸的方案,但分层防御(Cloudflare 边缘→Nginx 速率限制→蜜罐检测→行为分析)可以让大多数通用爬虫无功而返,保护独立站的核心数据资产。对于真正需要保护的价格和产品数据,考虑对 API 端点添加 JWT 认证,彻底阻断未授权的程序化访问。
遇到问题解决不了?
把服务器 IP、报错截图和操作步骤发给我们,工程师 7×24 在线,工单平均 10 分钟内响应。
