提交工单

独立站反爬虫策略:Cloudflare Bot Management + 行为检测 + 蜜罐陷阱完整方案

独立站面临的爬虫威胁:竞争对手批量抓取你的价格和产品数据、SEO 工具频繁抓取消耗服务器资源、恶意爬虫填表单提交垃圾内容。本文构建多层反爬虫防线,从 Cloudflare 边缘拦截到服务器行为检测,让合法用户正常访问,让爬虫无功而返。


一、Cloudflare Bot Fight Mode 配置

<code">
Cloudflare Dashboard → Security → Bots

Super Bot Fight Mode(Pro 及以上):
✅ 明确的机器人 → Challenge(验证码挑战)
✅ 可疑机器人 → Challenge
✅ 已验证的搜索引擎爬虫 → Allow(Google/Bing/百度放行)

自定义规则(WAF Rules):
规则1:封禁已知爬虫 UA
条件:User-Agent contains "python-requests" OR "scrapy" OR "curl" OR "wget" OR "Go-http-client"
动作:Block

规则2:限制 API 端点访问频率
条件:URI Path contains "/api/products" AND Rate > 30 req/min
动作:Challenge(JS 验证)

二、Nginx 多层防护

<code"># 基于 User-Agent 的初级过滤
map $http_user_agent $bad_bot {
    default 0;
    ~*scrapy   1;
    ~*python-requests 1;
    ~*masscan  1;
    ~*zgrab    1;
    ~*libwww   1;
    ~*curl     1;   # 如果不需要 API curl 访问
}

server {
    # 封禁恶意 UA
    if ($bad_bot = 1) {
        return 403 "Access Denied";
    }

    # 限制商品详情页访问频率(防止竞品批量抓取)
    location ~* ^/products/ {
        limit_req zone=product_rate burst=10 nodelay;
        limit_req_status 429;
        # ...
    }
}

limit_req_zone $binary_remote_addr zone=product_rate:10m rate=2r/s;

三、蜜罐链接(Honeypot)

<code"><!-- 在页面 HTML 中隐藏蜜罐链接(用 CSS 隐藏,真实用户看不到,爬虫会访问)-->
<a href="/honeypot-trap" style="display:none" aria-hidden="true">sitemap</a>

<!-- 蜜罐表单(真实用户不会填写隐藏字段)-->
<form>
  <!-- 隐藏字段:真实用户浏览器不会填写,爬虫会自动填充 -->
  <input type="text" name="website" style="display:none" autocomplete="off" />
  
  <!-- 真实表单字段 -->
  <input type="email" name="email" placeholder="邮箱" />
</form>
<code"># Nginx:访问蜜罐路径的 IP 加入黑名单并封禁1小时
location = /honeypot-trap {
    # 将 IP 写入 Redis 黑名单
    access_by_lua_block {
        local redis = require "resty.redis"
        local red = redis:new()
        red:connect("127.0.0.1", 6379)
        local ip = ngx.var.remote_addr
        red:setex("honeypot_blocked:" .. ip, 3600, "1")
        red:close()
    }
    return 200 "OK";  # 假装成功,让爬虫以为有价值
}

# 全站检查蜜罐黑名单
access_by_lua_block {
    local redis = require "resty.redis"
    local red = redis:new()
    red:connect("127.0.0.1", 6379)
    local blocked = red:get("honeypot_blocked:" .. ngx.var.remote_addr)
    red:close()
    if blocked ~= ngx.null and blocked then
        ngx.status = 403
        ngx.exit(403)
    end
}

四、行为异常检测

<code">import redis
from fastapi import Request

r = redis.Redis()

async def detect_bot_behavior(request: Request) -> bool:
    """检测异常行为特征"""
    ip = request.client.host
    ua = request.headers.get("user-agent", "")
    referer = request.headers.get("referer", "")

    signals = []

    # 信号1:访问速度过快(5秒内访问超过10个页面)
    visit_key = f"visits:{ip}"
    visit_count = r.incr(visit_key)
    r.expire(visit_key, 5)
    if visit_count > 10:
        signals.append("high_frequency")

    # 信号2:无 Referer(直接访问深层页面)
    if not referer and "/products/" in str(request.url):
        signals.append("no_referer_deep_page")

    # 信号3:User-Agent 包含版本号(真实浏览器会有完整 UA)
    if len(ua) < 50: signals.append("short_ua") # 信号4:访问模式过于规律(机器人通常按顺序访问) pattern_key = f"pattern:{ip}" # ... 检测访问 URL 的规律性 # 综合判断(3个以上信号则视为爬虫) return len(signals) >= 3

五、对合法爬虫友好

<code"># robots.txt:明确告知各搜索引擎爬虫的访问规则
# /var/www/mysite/robots.txt

User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Baiduspider
Allow: /
Disallow: /api/

# 封禁已知的内容抓取爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

# Sitemap 位置
Sitemap: https://yourdomain.com/sitemap.xml

六、总结

反爬虫是「猫鼠游戏」——没有一劳永逸的方案,但分层防御(Cloudflare 边缘→Nginx 速率限制→蜜罐检测→行为分析)可以让大多数通用爬虫无功而返,保护独立站的核心数据资产。对于真正需要保护的价格和产品数据,考虑对 API 端点添加 JWT 认证,彻底阻断未授权的程序化访问。

Telegram
Telegram服务器销售@IDCSELL
Telegram技术支持@IDCService