网站反爬虫通常从‌网络连接层、HTTP请求层、浏览器与行为层、数据层‌四大维度构建完整防护体系，覆盖从基础拦截到高级智能识别的全流程防护。

🌐 网络连接层反爬

• ‌IP限制与封禁‌：记录访问者IP地址，对单位时间内请求量超过阈值的IP直接限制或封禁，是最基础的反爬手段。

• ‌请求频率管控‌：通过静态阈值或动态算法，限制单IP在每分钟/每小时的最大请求数，避免服务器资源被爬虫过度占用。

• ‌代理IP识别‌：通过IP归属地数据库、代理特征库，识别数据中心代理IP、秒拨IP等非真实用户IP，直接拦截可疑请求。

📝 HTTP请求层反爬

• ‌User-Agent检测‌：校验请求头中的User-Agent字段，拦截非浏览器、非常用浏览器标识的爬虫请求。

• ‌请求头完整性校验‌：检查Referer、Accept-Language、Accept等字段是否符合正常浏览器特征，缺失或异常的请求会被直接拦截。

• ‌TLS指纹识别‌：通过分析TLS握手的加密套件顺序、扩展字段等特征，识别Python requests、Scrapy等爬虫框架的默认指纹特征进行拦截。

🖱️ 浏览器与行为层反爬

• ‌验证码挑战‌：对可疑请求弹出图片验证码、滑动验证码、点选验证码等，通过人机交互区分真实用户与机器爬虫。

• ‌设备指纹追踪‌：通过Canvas渲染特征、WebGL参数、字体列表、WebRTC信息等生成唯一设备标识，追踪同一设备的异常访问行为。

• ‌行为模式分析‌：基于机器学习分析鼠标移动轨迹、点击间隔、页面滚动速度、访问路径等特征，识别不符合人类操作习惯的爬虫行为。

• ‌WebDriver检测‌：检测navigator.webdriver等自动化浏览器专属属性，直接拦截Selenium、Puppeteer等无头爬虫工具。

🔐 数据层反爬

• ‌前端数据加密‌：对接口请求参数、返回数据进行AES、RSA等加密处理，关键接口加入时间戳签名、动态Token校验，直接请求无法获取有效数据。

• ‌动态渲染混淆‌：采用Vue、React等前端框架通过AJAX/Fetch异步加载数据，直接爬取HTML源码无法拿到有效内容。

• ‌展示层混淆‌：通过CSS偏移、SVG路径、自定义字体等方式，对价格、联系方式等敏感信息进行视觉混淆，普通解析无法提取真实文本。