1. 爬虫与 JS 逆向到底在解决什么问题很多初学者第一次接触 Python 爬虫时通常都会有一个很天真的想法用requests把网页地址一贴就能拿到全部数据。真正上手后才会发现事情远没有这么简单。很多网站你在浏览器里能正常看到数据但用 Python 去请求时拿到的要么是一段空壳 HTML要么是一串看不懂的混淆代码。明明浏览器里能看见的价格、评论、用户信息到了代码里却什么都拿不到。这个现象的根源就是网站做了“前端加密”。也就是说数据并不是服务器直接返回给浏览器的而是服务器先返回一段 JavaScript 代码由浏览器执行这段代码后才生成真实的数据。此时你的爬虫只拿到了“生成数据的逻辑”并没有真正执行它自然无法得到数据。JS 逆向要解决的正是这个问题。它本质上是一个分析过程找出网站前端代码中到底哪一段 JS 负责生成数据理解它的加密参数、请求头、Cookie 的生成规则然后用 Python 把这些逻辑复现出来从而让你的爬虫能够拿到与浏览器一致的数据。本文不是让你去看某个“七天速成”的视频课程而是先把 JS 逆向这条技术路线做一次系统梳理。从 Python 爬虫基础、JS 逆向核心方法、浏览器调试技巧到反爬对抗的原则与常见问题排查全部串联起来。你可以把本文当成一份学习路线图也可以当成一份随查随用的实战笔记。2. 爬虫的基础认知先分清三类常见的爬虫2.1 批量型爬虫批量型爬虫是最常见的形态。它的特点是目标 URL 明确、数据量固定爬虫一次性把需要的数据抓完任务结束。典型场景包括抓取某个商品列表页的全部商品信息抓取某个新闻网站当天的所有新闻标题抓取某个政府网站的公开公告。这种爬虫的代码结构通常比较简单构造请求、解析页面、保存数据。核心技术点是请求头伪装、分页处理和数据的结构化解析。2.2 增量型爬虫增量型爬虫面向的是持续更新的数据源。它不能每次都把所有数据重新抓一遍那样既不经济也不高效。它的核心能力是“识别新增内容”。典型的增量识别思路有三种基于时间戳抓取最近 N 分钟或最近一天内更新的数据基于 ID 或主键记录已抓取的最大 ID新数据 ID 大于最大 ID 则抓取基于内容去重将新抓取的内容与已有内容做哈希对比相同则跳过。增量型爬虫常用于新闻监控、舆情分析、商品价格监控等场景。它的难点不在请求而在于如何设计一个可靠的“去重与更新”机制。2.3 垂直型爬虫垂直型爬虫面向特定行业或特定站点比如只抓取汽车之家二手车数据、只抓取京东商品价格、只抓取小红书笔记。这类爬虫往往需要针对目标站点的页面结构、接口规则、反爬策略做定制化开发。垂直型爬虫的显著特点是“深度大于广度”不追求覆盖多少网站而在某一个领域把数据抓得足够完整、足够精细。理解了这三种爬虫你就知道自己的项目应该采用哪种方案。大多数 JS 逆向需求其实都集中在垂直型爬虫中因为越是垂直的数据源往往越有动机做前端加密保护。3. 环境准备工欲善其事必先利其器3.1 Python 版本与环境配置在开始学习之前先确认自己的 Python 环境。建议使用 Python 3.9 及以上版本太老的版本会出现依赖包无法安装、部分语法不支持等问题。在 Windows 下安装完成后要确认环境变量是否配置正确。打开命令行输入python --version如果输出类似Python 3.10.11说明安装成功。如果提示“不是内部或外部命令”则需要把 Python 的安装路径添加到系统环境变量PATH中。在 Linux 环境下系统可能自带 Python但版本可能偏老。建议使用pyenv或直接源码编译安装新版 Python不建议直接卸载系统自带的 Python因为系统很多底层工具依赖它。3.2 推荐 IDEVS Code 与 PyCharm两套工具各有优势VS Code 轻量、插件丰富配合 Python 插件后调试体验很好适合日常脚本开发PyCharm 社区版免费专业版功能更强尤其在断点调试和代码分析方面更智能适合深入学习调试技巧。如果你是刚开始学 JS 逆向我更推荐在 VS Code 或 PyCharm 中同时打开“Python 项目”和“浏览器开发者工具”一边写代码一边看网页请求。3.3 必备 Python 库先安装最基础的几个库pip install requests beautifulsoup4 lxml后续可能会用到pip install pandas openpyxl pyexecjspyexecjs是一个在 Python 中执行 JavaScript 代码的库在做 JS 逆向时经常用于本地复现 JS 加密逻辑。不过在新版环境中它依赖 Node.js所以如果你打算用它需要先安装 Node.js 环境。运行环境可以做个表格记录工具说明建议版本Python主要开发语言3.9requests发送 HTTP 请求最新稳定版beautifulsoup4解析 HTML 文档最新稳定版lxmlHTML 解析器引擎最新稳定版pyexecjsPython 内执行 JS根据系统选择Node.js运行 JavaScript 脚本14VS Code / PyCharm开发 IDE任意长期支持版本4. Python 爬虫入门requests 的核心用法在所有 JS 逆向实战之前你需要先熟练掌握requests这个库。它不是标准库但它是 Python 爬虫的事实标准。4.1 最简单的 GET 请求下面是一段最基础的请求代码import requests url https://httpbin.org/get response requests.get(url) print(response.status_code) print(response.text)httpbin.org是一个在线测试接口专门用来模拟各类 HTTP 请求场景。status_code表示 HTTP 响应状态码200 表示正常403/404/500 等都需要留意。response.text是服务端返回的文本内容。4.2 携带请求头与参数很多时候服务器会通过User-Agent判断请求是否来自浏览器。所以我们要把请求头伪装成浏览器的样子import requests url https://httpbin.org/get headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://httpbin.org/, } params { keyword: python爬虫, page: 1, } response requests.get(url, headersheaders, paramsparams) print(response.url) print(response.json())这里有几个关键点headers是字典结构用来模拟浏览器身份params会被requests自动拼接到 URL 结尾response.json()只有在响应内容是合法 JSON 时才能使用。4.3 POST 请求与表单提交当页面需要提交表单或登录时通常要用 POST 请求import requests url https://httpbin.org/post headers { User-Agent: Mozilla/5.0, } data { username: test, password: 123456, } response requests.post(url, headersheaders, datadata) print(response.json())data参数会把字典自动编码为表单格式usernametestpassword123456。4.4 Session 维持会话很多网站的登录态是通过 Cookie 维持的。如果你用多个requests.get()请求登录后的页面每个请求都是独立的会话登录状态不会保留。此时需要用requests.Session()import requests session requests.Session() login_url https://httpbin.org/post data { username: test, password: 123456, } session.post(login_url, datadata) profile_url https://httpbin.org/cookies response session.get(profile_url) print(response.text)Session对象会帮你自动管理 Cookie后续请求会自动携带之前服务器返回的 Cookie 信息。这在模拟登录场景中非常重要。4.5 响应解析从 HTML 中提取数据拿到响应内容后下一步是解析。最常见的方式是结合BeautifulSoupimport requests from bs4 import BeautifulSoup url https://httpbin.org/html response requests.get(url) soup BeautifulSoup(response.text, html.parser) title soup.find(h1).text print(title)BeautifulSoup 的常用方法soup.find(div)找第一个匹配的标签soup.find_all(a)找所有匹配的标签soup.select(.class-name)使用 CSS 选择器定位元素。lxml解析速度更快适合大文档。如果 BeautifulSoup 在解析某些畸形 HTML 时报错可以尝试在BeautifulSoup中指定lxml作为解析器。掌握这些requests的基础能力后你就具备了一个最简单的爬虫雏形。接下来要面对的就是本文最核心的进阶内容JS 逆向。5. JS 逆向的原理与前置知识5.1 JS 逆向到底是什么从工程角度看JS 逆向就是一个“定位—分析—复现”的过程。具体来说定位打开浏览器开发者工具找到数据请求对应的网络请求分析查看请求的参数、Cookie、请求头找出哪些参数是前端 JS 动态生成的复现用 Python 或 Node.js 模拟这些参数的生成逻辑然后让 Python 请求成功。换句话说JS 逆向不是“破解系统”而是“读懂客户端逻辑”。5.2 为什么会出现前端加密原因主要有三类反爬虫通过动态参数、Cookie 验证等方式识别脚本请求防止数据被抓取安全性对用户密码、支付信息做加密传输避免明文泄露业务保护防止接口被批量调用影响服务稳定性。前端加密不是为了让所有人都看不懂而是增加批量抓取的技术门槛。你看到的“JS 混淆”“动态 Cookie”“加密参数”本质都是制造摩擦。5.3 浏览器开发者工具基础在 Chrome 中按F12打开开发者工具需要重点关注以下面板面板用途Elements查看页面 HTML 结构定位数据渲染位置Console执行 JS 代码验证逻辑输出Sources查看 JS 文件源码支持断点调试Network查看所有网络请求分析接口地址与参数Application查看 Cookie、LocalStorage、SessionStorageJS 逆向最常用的是Sources面板中的“搜索”功能。你可以直接在开发者工具中按Ctrl Shift F搜索某个参数名快速定位到生成它的 JS 代码位置。5.4 定位加密入口的常用手段定位加密参数的方法有很多不同的网站需要灵活组合使用。第一种是看请求体中的参数名。比如某个请求体中有一个sign参数值是一长串加密字符串那么直接在 Sources 面板中搜索sign关键字基本就能找到生成逻辑。第二种是看调用堆栈。在 Network 面板中找到目标请求右键选择Copy - Copy as fetch然后在 Sources 面板中设置断点或者直接分析请求发起前的调用堆栈向上追踪参数来源。第三种是搜索请求头中的特殊字段。有些网站会把加密信息放在X-Sign、X-Token这类自定义请求头中直接搜索字段名即可定位。我们来演示一下第一种方式的简化逻辑。假设页面中某个请求参数是sign在 JS 文件中搜索到如下代码function generateSign(params) { var sorted Object.keys(params).sort(); var str ; for (var i 0; i sorted.length; i) { str sorted[i] params[sorted[i]] ; } str secret_keyyour_secret; return md5(str); }这个函数做了这样几件事对参数名做字典排序把参数拼接成字符串在字符串末尾拼接一个固定的密钥对整段字符串做 MD5 加密得到sign。在 Python 中你完全可以复现这套逻辑import hashlib def generate_sign(params: dict) - str: sorted_keys sorted(params.keys()) raw_string for key in sorted_keys: raw_string f{key}{params[key]} raw_string secret_keyyour_secret return hashlib.md5(raw_string.encode(utf-8)).hexdigest() params { page: 1, size: 10, } sign generate_sign(params) print(sign)如果加密逻辑非常复杂比如用到 AES、RSA 等算法且 JS 代码经过混淆直接在 Python 中重写会比较困难。此时可以先在 Node.js 环境中直接执行原版 JS再通过 Python 调用 Node 脚本获取结果。这种做法在真实项目中很常见。5.5 动态 Cookie 的应对思路很多网站会在请求前先下发一个用于验证的 Cookie。这个 Cookie 并非服务器端直接生成而是由一段 JS 在浏览器本地计算后写入。处理思路是先用普通请求访问一次目标站点拿到 Set-Cookie 中的初始值通过分析 JS 代码找到该 Cookie 的生成算法用 Python 或 Node.js 计算出正确的 Cookie 值在后续请求中手动携带该 Cookie。如果你在分析过程中遇到完全无从下手的场景可以尝试使用 Selenium 或 Playwright 这类自动化工具它们会驱动真实浏览器执行页面上的所有 JS你只需要获取页面渲染后的最终内容即可。当然这种方式会消耗更多资源适用的反爬强度也有限但它依然是一种合法、高效的兜底方案。6. 完整实战案例分析一个带加密参数的接口下面我们用一个模拟场景完整走一遍 JS 逆向的思路。这里的目标站点是测试站点不针对任何真实业务。假设我们想抓取一个数据接口请求如下GET https://api.example.com/data?page1timestamp1700000000000nonceabc123signxxxxxx其中timestamp、nonce、sign都是动态参数。timestamp是毫秒级时间戳nonce是一个随机字符串sign是根据前面所有参数拼接后生成的签名。6.1 找到生成签名的地方在浏览器开发者工具的 Sources 面板中搜索sign关键字发现如下代码片段function getSign(page, timestamp, nonce) { var base page page timestamp timestamp nonce nonce; return CryptoJS.MD5(base keydemo_key_2026).toString(); }这表示签名由四个部分组成page、timestamp、nonce和固定密钥demo_key_2026拼接后做 MD5。随后继续搜索nonce发现它的生成逻辑是function getNonce() { var chars abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789; var nonce ; for (var i 0; i 8; i) { nonce chars.charAt(Math.floor(Math.random() * chars.length)); } return nonce; }也就是从字符池中随机取 8 个字符。6.2 用 Python 复现签名逻辑分析清楚后Python 侧写起来就非常直接import hashlib import time import random import string import requests def get_nonce(length: int 8) - str: chars string.ascii_letters string.digits return .join(random.choices(chars, klength)) def get_sign(page: int, timestamp: int, nonce: str) - str: raw_string fpage{page}timestamp{timestamp}nonce{nonce}keydemo_key_2026 return hashlib.md5(raw_string.encode(utf-8)).hexdigest() def fetch_data(page: int) - dict: timestamp int(time.time() * 1000) nonce get_nonce() sign get_sign(page, timestamp, nonce) params { page: page, timestamp: timestamp, nonce: nonce, sign: sign, } headers { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) } response requests.get( https://api.example.com/data, paramsparams, headersheaders, timeout10, ) response.raise_for_status() return response.json() if __name__ __main__: data fetch_data(1) print(data)这段代码把 JS 里的三个功能全部复现了get_nonce模拟随机字符串生成get_sign模拟签名拼接与 MD5 计算fetch_data组装完整请求。如果你在跑真实项目时发现 Python 计算出来的sign总是与浏览器不一致大概率是拼接顺序或密钥不同。此时可以回到 JS 原文件中把每一段拼接字符串在 Console 中打印出来与 Python 的结果逐段比对。6.3 如果加密算法复杂如何降级处理有些网站使用 AES、RSA 加密JS 代码又做了变量名混淆想要完全读懂逻辑成本很高。这时候你可以选择在 Node.js 中直接执行原 JS 文件通过它的输出来生成加密参数。例如把目标 JS 文件保存为crypto.js然后在 Node.js 中调用// 文件路径crypto_demo.js const CryptoJS require(crypto-js); function getSign(page, timestamp, nonce) { const base page${page}timestamp${timestamp}nonce${nonce}; return CryptoJS.MD5(base keydemo_key_2026).toString(); } // 供外部调用的入口 console.log(getSign(1, 1700000000000, abc123));Python 侧使用subprocess调用import subprocess import json result subprocess.run( [node, crypto_demo.js], capture_outputTrue, textTrue, encodingutf-8, ) sign result.stdout.strip() print(sign)这种方式的优点是即使你读不懂 JS 内部逻辑也能通过执行原 JS 拿到正确结果。缺点是每次调用都要启动一次 Node.js 进程性能稍差。你可以考虑在一个长驻的 Node 服务中批量计算或者把最终结果缓存起来。6.4 案例小结这个案例虽然用了最简单的 MD5 签名但它的分析流程具有普遍性浏览器中打开开发者工具找到目标接口和请求参数搜索参数名定位 JS 生成逻辑复现代码或直接调用原 JS在 Python 中组装请求并验证结果。无论后面的加密算法多复杂这套“定位—分析—复现”的主线不会变。7. 反爬对抗的常见类型与合法边界7.1 常见反爬手段的分类除了 JS 加密参数常见的反爬手段还有以下几种反爬手段原理常见应对思路UA 检测通过请求头中的 User-Agent 判断是否为浏览器伪装标准浏览器 UAIP 频率限制同一 IP 高并发时封禁降低请求频率、设置重试间隔Cookie 校验通过会话中携带的 Cookie 识别客户端维持 Session 或手动构造 Cookie验证码通过人机识别阻止脚本操作接入打码平台或进行 OCR 识别行为分析通过鼠标轨迹、点击行为推断是否真人使用自动化浏览器模拟真实行为数据混淆返回 HTML 中带有加密文本需要前端解密后才展示分析前端解密逻辑执行原 JS7.2 JS 逆向学习的合法边界这是整个爬虫学习中最重要的原则。JS 逆向本身是一项中性的技术它可以用于分析自己开发的网站研究公开接口的数据格式学习加密算法原理测试自己系统的安全性。在开始任何爬虫项目之前建议先确认以下几点目标网站是否提供了官方 API如果有优先使用官方 API网站 robots 协议是否明确禁止爬虫访问请求频率是否会给对方服务器带来压力抓取到的数据是否涉及个人隐私、版权保护、商业秘密是否获得了目标网站的所有者授权。不要将 JS 逆向用于绕过付费墙、破解登录、抓取非公开数据等场景。技术学习和技术滥用之间往往只有一线之隔。7.3 关于打码平台与验证码验证码是人机对抗中常见的环节。对于学习项目你可以通过分析图像特征、处理噪点等传统方式尝试识别。对于企业级项目更推荐的方案是基于深度学习的目标检测模型来识别或者直接使用专业的打码服务。但无论选择哪种方式都需要明确滑块验证码、行为验证码等已经升级为“行为安全”产品识别难度不断提升单纯依赖打码平台的方案既不稳定也存在合规风险。遇到这类高强度验证时先停下来评估你的爬虫方案是否合理而不是一味地想突破。8. 常见问题与排查思路8.1 请求返回 403 或验证页面问题现象常见原因解决思路返回 403 Forbidden请求头缺失服务器认为不是浏览器补全 UA、Referer、Accept 等请求头返回 302 到验证页面Cookie 未携带或过期使用 Session 维持会话先访问首页拿 Cookie返回 JSON 中 code 非 0签名参数错误或时间戳过期逐项核对签名拼接规则检查 timestamp 是否最新处理思路在浏览器中复制完整的请求头Request Headers在 Python 中尽量原样携带先用浏览器访问一次目标页面把当前有效的 Cookie 复制到请求中测试如果加了 Cookie 后能正常访问说明 Cookie 生成逻辑需要进一步分析。8.2 JS 变量在 Python 中无法复现有时候你看到 JS 中调用了一个函数但函数本身是压缩或混淆过的变量名全部变成了a、b、c这样的短名很难直接读懂。解决方式有几种在浏览器开发者工具中格式化代码点击左下角{}按钮可读性会大幅提升在关键位置打断点观察调用前后变量的值变化直接提取整段 JS 到本地用 Node.js 调用不在 Python 中重复实现。8.3 请求速率过快导致 IP 被封这是很多新手在爬虫项目上线后遇到的头号问题。没有控制好并发频率几秒钟内发出大量请求IP 被封是必然结果。建议在代码中增加请求间隔import time import random # 每次请求后随机休眠 1 到 3 秒 time.sleep(random.uniform(1, 3))并且加入失败重试机制import requests from requests.adapters import HTTPAdapter session requests.Session() session.mount( https://, HTTPAdapter(max_retries3), )这样在网络抖动或因并发问题导致单次请求失败时不会直接中断整个任务。8.4 开发者工具 Network 面板中看不到数据请求有些网站的数据是通过 WebSocket 推送的或者数据在初始 HTML 中直接内嵌Network 面板中看不到明显的 XHR 请求。排查思路在 Elements 面板中查看页面源码搜索关键词是否存在查看 Network 面板中的WS分类确认是否存在 WebSocket 连接查看页面的 JS 源代码找到数据的最终来源。WebSocket 场景中你需要用 Python 的websocket-client库保持长连接这比普通 HTTP 请求要复杂一些建议先把 HTTP 接口的逆向流程练熟后再学。9. 工程化与生产环境最佳实践9.1 做好异常处理与日志记录爬虫代码最大的特点是“不可靠”。目标网站可以随时调整接口、修改参数、增加反爬逻辑。所以你的代码必须从一开始就具备可观测性。推荐的做法import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, ) logger logging.getLogger(__name__) def fetch_data(page: int): try: response requests.get(url, timeout10) response.raise_for_status() return response.json() except requests.Timeout: logger.error(page %s 请求超时, page) return None except requests.RequestException as exc: logger.error(page %s 请求失败: %s, page, exc) return None关键请求的失败日志、参数生成日志、请求耗时日志都要记录否则生产环境出问题时你会什么都看不到。9.2 模块化设计从脚本到工程不建议把所有代码都写在一个文件里。推荐按下面的结构组织project/ ├── main.py # 入口文件 ├── config.py # 全局配置 ├── api/ │ ├── __init__.py │ ├── client.py # 请求客户端 │ └── sign.py # 签名与加密逻辑 ├── parser/ │ ├── __init__.py │ └── html_parser.py # HTML/JSON 解析 ├── storage/ │ ├── __init__.py │ └── db.py # 数据存储 └── logs/ └── crawler.log模块化之后每个文件的职责更清晰修改加密逻辑时不需要动请求逻辑修改存储方式时也不需要动解析逻辑。9.3 数据存储与去重策略如果爬虫需要长期运行必须做好数据去重。最简单的方案是将已抓取的数据 ID 存储在数据库表中并建立唯一索引插入数据时使用INSERT IGNORE或ON DUPLICATE KEY UPDATE。以 MySQL 为例CREATE TABLE crawled_data ( id BIGINT PRIMARY KEY AUTO_INCREMENT, data_id VARCHAR(64) NOT NULL COMMENT 业务数据唯一ID, content JSON, created_at DATETIME DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY uk_data_id (data_id) ) ENGINE InnoDB DEFAULT CHARSET utf8mb4;插入时使用INSERT INTO crawled_data (data_id, content) VALUES (%s, %s) ON DUPLICATE KEY UPDATE content VALUES(content);这样每次抓取时即使遇到重复数据也不会报错而是直接更新内容。9.4 定期验证与自动化监控一个爬虫能不能长期稳定运行取决于你对目标站点变化的敏感度。建议定期进行以下工作每周验证一次签名逻辑是否仍然有效检查请求失败率是否升高检查服务器日志中的 403、503 状态码数量关注目标站点是否有功能更新或接口变更。如果条件允许可以为爬虫增加告警机制例如请求失败率连续 10 分钟超过 20% 时通过邮件或企业微信机器人推送通知。9.5 性能优化思路优化目标方案请求并发使用concurrent.futures.ThreadPoolExecutor做可控并发参数计算加密逻辑结果做内存缓存避免重复计算数据解析优先使用lxml大文件使用流式解析存储优化批量插入减少频繁连接数据库网络优化使用连接池复用 TCP 连接需要特别注意的是并发不是越高越好。过高的并发不仅容易触发对方的风控还会导致本地 CPU、内存、数据库连接全部吃紧。合理的方式是逐步增加并发数观察成功率变化后稳定在一个安全区间。10. 总结与后续学习路线到这一步你已经完整走过了 Python 爬虫与 JS 逆向从入门到进阶的主线其中包括环境准备、requests 基础、浏览器开发者工具分析、加密参数定位与复现、常见反爬类型的应对思路以及生产环境中的工程化注意事项。如果这篇文章只总结一个核心那就是JS 逆向不是一门“套路”学科而是一项“分析能力”。你真正需要掌握的并不是某一个网站的加密参数而是定位问题、分析逻辑、复现结果的方法。这套方法在不同的网站之间是通用的。接下来你可以按以下顺序继续深入把 requests 基础语法练熟尤其要熟练使用 Session、请求头伪装、异常处理在浏览器开发者工具中反复演练网络请求分析直到能够快速定位一个动态参数是在哪个 JS 文件中生成的学习 Python 中execjs或subprocess调用 Node.js 的方式为执行复杂加密逻辑做准备熟悉常见加密算法MD5、SHA、AES、RSA 的特征与适用场景至少要能一眼辨认出参数是用哪种算法生成的做一两个模拟项目例如抓取某个提供公开数据的网站在保护好对方服务器压力的前提下完成“请求—解析—存储—增量更新”的完整闭环有余力时学习 Selenium、Playwright 等自动化工具但不要过度依赖它们因为它们无法替代真正的 JS 逻辑分析能力。爬虫技术本身是中性工具如何使用完全取决于开发者。希望你在后续的学习和项目中始终保持对目标站点规则的基本尊重使用合法、合理、合规的方式获取数据把精力放在真正提升自己分析能力的地方而不是放在无休止的对抗上。多动手写代码、多分析真实网页你会发现那些看似复杂的加密逻辑其实都有迹可循。如果你觉得这篇文章对你有帮助可以收藏备用后续遇到具体问题时也能随时查阅。
1. 爬虫与 JS 逆向到底在解决什么问题很多初学者第一次接触 Python 爬虫时通常都会有一个很天真的想法用requests把网页地址一贴就能拿到全部数据。真正上手后才会发现事情远没有这么简单。很多网站你在浏览器里能正常看到数据但用 Python 去请求时拿到的要么是一段空壳 HTML要么是一串看不懂的混淆代码。明明浏览器里能看见的价格、评论、用户信息到了代码里却什么都拿不到。这个现象的根源就是网站做了“前端加密”。也就是说数据并不是服务器直接返回给浏览器的而是服务器先返回一段 JavaScript 代码由浏览器执行这段代码后才生成真实的数据。此时你的爬虫只拿到了“生成数据的逻辑”并没有真正执行它自然无法得到数据。JS 逆向要解决的正是这个问题。它本质上是一个分析过程找出网站前端代码中到底哪一段 JS 负责生成数据理解它的加密参数、请求头、Cookie 的生成规则然后用 Python 把这些逻辑复现出来从而让你的爬虫能够拿到与浏览器一致的数据。本文不是让你去看某个“七天速成”的视频课程而是先把 JS 逆向这条技术路线做一次系统梳理。从 Python 爬虫基础、JS 逆向核心方法、浏览器调试技巧到反爬对抗的原则与常见问题排查全部串联起来。你可以把本文当成一份学习路线图也可以当成一份随查随用的实战笔记。2. 爬虫的基础认知先分清三类常见的爬虫2.1 批量型爬虫批量型爬虫是最常见的形态。它的特点是目标 URL 明确、数据量固定爬虫一次性把需要的数据抓完任务结束。典型场景包括抓取某个商品列表页的全部商品信息抓取某个新闻网站当天的所有新闻标题抓取某个政府网站的公开公告。这种爬虫的代码结构通常比较简单构造请求、解析页面、保存数据。核心技术点是请求头伪装、分页处理和数据的结构化解析。2.2 增量型爬虫增量型爬虫面向的是持续更新的数据源。它不能每次都把所有数据重新抓一遍那样既不经济也不高效。它的核心能力是“识别新增内容”。典型的增量识别思路有三种基于时间戳抓取最近 N 分钟或最近一天内更新的数据基于 ID 或主键记录已抓取的最大 ID新数据 ID 大于最大 ID 则抓取基于内容去重将新抓取的内容与已有内容做哈希对比相同则跳过。增量型爬虫常用于新闻监控、舆情分析、商品价格监控等场景。它的难点不在请求而在于如何设计一个可靠的“去重与更新”机制。2.3 垂直型爬虫垂直型爬虫面向特定行业或特定站点比如只抓取汽车之家二手车数据、只抓取京东商品价格、只抓取小红书笔记。这类爬虫往往需要针对目标站点的页面结构、接口规则、反爬策略做定制化开发。垂直型爬虫的显著特点是“深度大于广度”不追求覆盖多少网站而在某一个领域把数据抓得足够完整、足够精细。理解了这三种爬虫你就知道自己的项目应该采用哪种方案。大多数 JS 逆向需求其实都集中在垂直型爬虫中因为越是垂直的数据源往往越有动机做前端加密保护。3. 环境准备工欲善其事必先利其器3.1 Python 版本与环境配置在开始学习之前先确认自己的 Python 环境。建议使用 Python 3.9 及以上版本太老的版本会出现依赖包无法安装、部分语法不支持等问题。在 Windows 下安装完成后要确认环境变量是否配置正确。打开命令行输入python --version如果输出类似Python 3.10.11说明安装成功。如果提示“不是内部或外部命令”则需要把 Python 的安装路径添加到系统环境变量PATH中。在 Linux 环境下系统可能自带 Python但版本可能偏老。建议使用pyenv或直接源码编译安装新版 Python不建议直接卸载系统自带的 Python因为系统很多底层工具依赖它。3.2 推荐 IDEVS Code 与 PyCharm两套工具各有优势VS Code 轻量、插件丰富配合 Python 插件后调试体验很好适合日常脚本开发PyCharm 社区版免费专业版功能更强尤其在断点调试和代码分析方面更智能适合深入学习调试技巧。如果你是刚开始学 JS 逆向我更推荐在 VS Code 或 PyCharm 中同时打开“Python 项目”和“浏览器开发者工具”一边写代码一边看网页请求。3.3 必备 Python 库先安装最基础的几个库pip install requests beautifulsoup4 lxml后续可能会用到pip install pandas openpyxl pyexecjspyexecjs是一个在 Python 中执行 JavaScript 代码的库在做 JS 逆向时经常用于本地复现 JS 加密逻辑。不过在新版环境中它依赖 Node.js所以如果你打算用它需要先安装 Node.js 环境。运行环境可以做个表格记录工具说明建议版本Python主要开发语言3.9requests发送 HTTP 请求最新稳定版beautifulsoup4解析 HTML 文档最新稳定版lxmlHTML 解析器引擎最新稳定版pyexecjsPython 内执行 JS根据系统选择Node.js运行 JavaScript 脚本14VS Code / PyCharm开发 IDE任意长期支持版本4. Python 爬虫入门requests 的核心用法在所有 JS 逆向实战之前你需要先熟练掌握requests这个库。它不是标准库但它是 Python 爬虫的事实标准。4.1 最简单的 GET 请求下面是一段最基础的请求代码import requests url https://httpbin.org/get response requests.get(url) print(response.status_code) print(response.text)httpbin.org是一个在线测试接口专门用来模拟各类 HTTP 请求场景。status_code表示 HTTP 响应状态码200 表示正常403/404/500 等都需要留意。response.text是服务端返回的文本内容。4.2 携带请求头与参数很多时候服务器会通过User-Agent判断请求是否来自浏览器。所以我们要把请求头伪装成浏览器的样子import requests url https://httpbin.org/get headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://httpbin.org/, } params { keyword: python爬虫, page: 1, } response requests.get(url, headersheaders, paramsparams) print(response.url) print(response.json())这里有几个关键点headers是字典结构用来模拟浏览器身份params会被requests自动拼接到 URL 结尾response.json()只有在响应内容是合法 JSON 时才能使用。4.3 POST 请求与表单提交当页面需要提交表单或登录时通常要用 POST 请求import requests url https://httpbin.org/post headers { User-Agent: Mozilla/5.0, } data { username: test, password: 123456, } response requests.post(url, headersheaders, datadata) print(response.json())data参数会把字典自动编码为表单格式usernametestpassword123456。4.4 Session 维持会话很多网站的登录态是通过 Cookie 维持的。如果你用多个requests.get()请求登录后的页面每个请求都是独立的会话登录状态不会保留。此时需要用requests.Session()import requests session requests.Session() login_url https://httpbin.org/post data { username: test, password: 123456, } session.post(login_url, datadata) profile_url https://httpbin.org/cookies response session.get(profile_url) print(response.text)Session对象会帮你自动管理 Cookie后续请求会自动携带之前服务器返回的 Cookie 信息。这在模拟登录场景中非常重要。4.5 响应解析从 HTML 中提取数据拿到响应内容后下一步是解析。最常见的方式是结合BeautifulSoupimport requests from bs4 import BeautifulSoup url https://httpbin.org/html response requests.get(url) soup BeautifulSoup(response.text, html.parser) title soup.find(h1).text print(title)BeautifulSoup 的常用方法soup.find(div)找第一个匹配的标签soup.find_all(a)找所有匹配的标签soup.select(.class-name)使用 CSS 选择器定位元素。lxml解析速度更快适合大文档。如果 BeautifulSoup 在解析某些畸形 HTML 时报错可以尝试在BeautifulSoup中指定lxml作为解析器。掌握这些requests的基础能力后你就具备了一个最简单的爬虫雏形。接下来要面对的就是本文最核心的进阶内容JS 逆向。5. JS 逆向的原理与前置知识5.1 JS 逆向到底是什么从工程角度看JS 逆向就是一个“定位—分析—复现”的过程。具体来说定位打开浏览器开发者工具找到数据请求对应的网络请求分析查看请求的参数、Cookie、请求头找出哪些参数是前端 JS 动态生成的复现用 Python 或 Node.js 模拟这些参数的生成逻辑然后让 Python 请求成功。换句话说JS 逆向不是“破解系统”而是“读懂客户端逻辑”。5.2 为什么会出现前端加密原因主要有三类反爬虫通过动态参数、Cookie 验证等方式识别脚本请求防止数据被抓取安全性对用户密码、支付信息做加密传输避免明文泄露业务保护防止接口被批量调用影响服务稳定性。前端加密不是为了让所有人都看不懂而是增加批量抓取的技术门槛。你看到的“JS 混淆”“动态 Cookie”“加密参数”本质都是制造摩擦。5.3 浏览器开发者工具基础在 Chrome 中按F12打开开发者工具需要重点关注以下面板面板用途Elements查看页面 HTML 结构定位数据渲染位置Console执行 JS 代码验证逻辑输出Sources查看 JS 文件源码支持断点调试Network查看所有网络请求分析接口地址与参数Application查看 Cookie、LocalStorage、SessionStorageJS 逆向最常用的是Sources面板中的“搜索”功能。你可以直接在开发者工具中按Ctrl Shift F搜索某个参数名快速定位到生成它的 JS 代码位置。5.4 定位加密入口的常用手段定位加密参数的方法有很多不同的网站需要灵活组合使用。第一种是看请求体中的参数名。比如某个请求体中有一个sign参数值是一长串加密字符串那么直接在 Sources 面板中搜索sign关键字基本就能找到生成逻辑。第二种是看调用堆栈。在 Network 面板中找到目标请求右键选择Copy - Copy as fetch然后在 Sources 面板中设置断点或者直接分析请求发起前的调用堆栈向上追踪参数来源。第三种是搜索请求头中的特殊字段。有些网站会把加密信息放在X-Sign、X-Token这类自定义请求头中直接搜索字段名即可定位。我们来演示一下第一种方式的简化逻辑。假设页面中某个请求参数是sign在 JS 文件中搜索到如下代码function generateSign(params) { var sorted Object.keys(params).sort(); var str ; for (var i 0; i sorted.length; i) { str sorted[i] params[sorted[i]] ; } str secret_keyyour_secret; return md5(str); }这个函数做了这样几件事对参数名做字典排序把参数拼接成字符串在字符串末尾拼接一个固定的密钥对整段字符串做 MD5 加密得到sign。在 Python 中你完全可以复现这套逻辑import hashlib def generate_sign(params: dict) - str: sorted_keys sorted(params.keys()) raw_string for key in sorted_keys: raw_string f{key}{params[key]} raw_string secret_keyyour_secret return hashlib.md5(raw_string.encode(utf-8)).hexdigest() params { page: 1, size: 10, } sign generate_sign(params) print(sign)如果加密逻辑非常复杂比如用到 AES、RSA 等算法且 JS 代码经过混淆直接在 Python 中重写会比较困难。此时可以先在 Node.js 环境中直接执行原版 JS再通过 Python 调用 Node 脚本获取结果。这种做法在真实项目中很常见。5.5 动态 Cookie 的应对思路很多网站会在请求前先下发一个用于验证的 Cookie。这个 Cookie 并非服务器端直接生成而是由一段 JS 在浏览器本地计算后写入。处理思路是先用普通请求访问一次目标站点拿到 Set-Cookie 中的初始值通过分析 JS 代码找到该 Cookie 的生成算法用 Python 或 Node.js 计算出正确的 Cookie 值在后续请求中手动携带该 Cookie。如果你在分析过程中遇到完全无从下手的场景可以尝试使用 Selenium 或 Playwright 这类自动化工具它们会驱动真实浏览器执行页面上的所有 JS你只需要获取页面渲染后的最终内容即可。当然这种方式会消耗更多资源适用的反爬强度也有限但它依然是一种合法、高效的兜底方案。6. 完整实战案例分析一个带加密参数的接口下面我们用一个模拟场景完整走一遍 JS 逆向的思路。这里的目标站点是测试站点不针对任何真实业务。假设我们想抓取一个数据接口请求如下GET https://api.example.com/data?page1timestamp1700000000000nonceabc123signxxxxxx其中timestamp、nonce、sign都是动态参数。timestamp是毫秒级时间戳nonce是一个随机字符串sign是根据前面所有参数拼接后生成的签名。6.1 找到生成签名的地方在浏览器开发者工具的 Sources 面板中搜索sign关键字发现如下代码片段function getSign(page, timestamp, nonce) { var base page page timestamp timestamp nonce nonce; return CryptoJS.MD5(base keydemo_key_2026).toString(); }这表示签名由四个部分组成page、timestamp、nonce和固定密钥demo_key_2026拼接后做 MD5。随后继续搜索nonce发现它的生成逻辑是function getNonce() { var chars abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789; var nonce ; for (var i 0; i 8; i) { nonce chars.charAt(Math.floor(Math.random() * chars.length)); } return nonce; }也就是从字符池中随机取 8 个字符。6.2 用 Python 复现签名逻辑分析清楚后Python 侧写起来就非常直接import hashlib import time import random import string import requests def get_nonce(length: int 8) - str: chars string.ascii_letters string.digits return .join(random.choices(chars, klength)) def get_sign(page: int, timestamp: int, nonce: str) - str: raw_string fpage{page}timestamp{timestamp}nonce{nonce}keydemo_key_2026 return hashlib.md5(raw_string.encode(utf-8)).hexdigest() def fetch_data(page: int) - dict: timestamp int(time.time() * 1000) nonce get_nonce() sign get_sign(page, timestamp, nonce) params { page: page, timestamp: timestamp, nonce: nonce, sign: sign, } headers { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ) } response requests.get( https://api.example.com/data, paramsparams, headersheaders, timeout10, ) response.raise_for_status() return response.json() if __name__ __main__: data fetch_data(1) print(data)这段代码把 JS 里的三个功能全部复现了get_nonce模拟随机字符串生成get_sign模拟签名拼接与 MD5 计算fetch_data组装完整请求。如果你在跑真实项目时发现 Python 计算出来的sign总是与浏览器不一致大概率是拼接顺序或密钥不同。此时可以回到 JS 原文件中把每一段拼接字符串在 Console 中打印出来与 Python 的结果逐段比对。6.3 如果加密算法复杂如何降级处理有些网站使用 AES、RSA 加密JS 代码又做了变量名混淆想要完全读懂逻辑成本很高。这时候你可以选择在 Node.js 中直接执行原 JS 文件通过它的输出来生成加密参数。例如把目标 JS 文件保存为crypto.js然后在 Node.js 中调用// 文件路径crypto_demo.js const CryptoJS require(crypto-js); function getSign(page, timestamp, nonce) { const base page${page}timestamp${timestamp}nonce${nonce}; return CryptoJS.MD5(base keydemo_key_2026).toString(); } // 供外部调用的入口 console.log(getSign(1, 1700000000000, abc123));Python 侧使用subprocess调用import subprocess import json result subprocess.run( [node, crypto_demo.js], capture_outputTrue, textTrue, encodingutf-8, ) sign result.stdout.strip() print(sign)这种方式的优点是即使你读不懂 JS 内部逻辑也能通过执行原 JS 拿到正确结果。缺点是每次调用都要启动一次 Node.js 进程性能稍差。你可以考虑在一个长驻的 Node 服务中批量计算或者把最终结果缓存起来。6.4 案例小结这个案例虽然用了最简单的 MD5 签名但它的分析流程具有普遍性浏览器中打开开发者工具找到目标接口和请求参数搜索参数名定位 JS 生成逻辑复现代码或直接调用原 JS在 Python 中组装请求并验证结果。无论后面的加密算法多复杂这套“定位—分析—复现”的主线不会变。7. 反爬对抗的常见类型与合法边界7.1 常见反爬手段的分类除了 JS 加密参数常见的反爬手段还有以下几种反爬手段原理常见应对思路UA 检测通过请求头中的 User-Agent 判断是否为浏览器伪装标准浏览器 UAIP 频率限制同一 IP 高并发时封禁降低请求频率、设置重试间隔Cookie 校验通过会话中携带的 Cookie 识别客户端维持 Session 或手动构造 Cookie验证码通过人机识别阻止脚本操作接入打码平台或进行 OCR 识别行为分析通过鼠标轨迹、点击行为推断是否真人使用自动化浏览器模拟真实行为数据混淆返回 HTML 中带有加密文本需要前端解密后才展示分析前端解密逻辑执行原 JS7.2 JS 逆向学习的合法边界这是整个爬虫学习中最重要的原则。JS 逆向本身是一项中性的技术它可以用于分析自己开发的网站研究公开接口的数据格式学习加密算法原理测试自己系统的安全性。在开始任何爬虫项目之前建议先确认以下几点目标网站是否提供了官方 API如果有优先使用官方 API网站 robots 协议是否明确禁止爬虫访问请求频率是否会给对方服务器带来压力抓取到的数据是否涉及个人隐私、版权保护、商业秘密是否获得了目标网站的所有者授权。不要将 JS 逆向用于绕过付费墙、破解登录、抓取非公开数据等场景。技术学习和技术滥用之间往往只有一线之隔。7.3 关于打码平台与验证码验证码是人机对抗中常见的环节。对于学习项目你可以通过分析图像特征、处理噪点等传统方式尝试识别。对于企业级项目更推荐的方案是基于深度学习的目标检测模型来识别或者直接使用专业的打码服务。但无论选择哪种方式都需要明确滑块验证码、行为验证码等已经升级为“行为安全”产品识别难度不断提升单纯依赖打码平台的方案既不稳定也存在合规风险。遇到这类高强度验证时先停下来评估你的爬虫方案是否合理而不是一味地想突破。8. 常见问题与排查思路8.1 请求返回 403 或验证页面问题现象常见原因解决思路返回 403 Forbidden请求头缺失服务器认为不是浏览器补全 UA、Referer、Accept 等请求头返回 302 到验证页面Cookie 未携带或过期使用 Session 维持会话先访问首页拿 Cookie返回 JSON 中 code 非 0签名参数错误或时间戳过期逐项核对签名拼接规则检查 timestamp 是否最新处理思路在浏览器中复制完整的请求头Request Headers在 Python 中尽量原样携带先用浏览器访问一次目标页面把当前有效的 Cookie 复制到请求中测试如果加了 Cookie 后能正常访问说明 Cookie 生成逻辑需要进一步分析。8.2 JS 变量在 Python 中无法复现有时候你看到 JS 中调用了一个函数但函数本身是压缩或混淆过的变量名全部变成了a、b、c这样的短名很难直接读懂。解决方式有几种在浏览器开发者工具中格式化代码点击左下角{}按钮可读性会大幅提升在关键位置打断点观察调用前后变量的值变化直接提取整段 JS 到本地用 Node.js 调用不在 Python 中重复实现。8.3 请求速率过快导致 IP 被封这是很多新手在爬虫项目上线后遇到的头号问题。没有控制好并发频率几秒钟内发出大量请求IP 被封是必然结果。建议在代码中增加请求间隔import time import random # 每次请求后随机休眠 1 到 3 秒 time.sleep(random.uniform(1, 3))并且加入失败重试机制import requests from requests.adapters import HTTPAdapter session requests.Session() session.mount( https://, HTTPAdapter(max_retries3), )这样在网络抖动或因并发问题导致单次请求失败时不会直接中断整个任务。8.4 开发者工具 Network 面板中看不到数据请求有些网站的数据是通过 WebSocket 推送的或者数据在初始 HTML 中直接内嵌Network 面板中看不到明显的 XHR 请求。排查思路在 Elements 面板中查看页面源码搜索关键词是否存在查看 Network 面板中的WS分类确认是否存在 WebSocket 连接查看页面的 JS 源代码找到数据的最终来源。WebSocket 场景中你需要用 Python 的websocket-client库保持长连接这比普通 HTTP 请求要复杂一些建议先把 HTTP 接口的逆向流程练熟后再学。9. 工程化与生产环境最佳实践9.1 做好异常处理与日志记录爬虫代码最大的特点是“不可靠”。目标网站可以随时调整接口、修改参数、增加反爬逻辑。所以你的代码必须从一开始就具备可观测性。推荐的做法import logging logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, ) logger logging.getLogger(__name__) def fetch_data(page: int): try: response requests.get(url, timeout10) response.raise_for_status() return response.json() except requests.Timeout: logger.error(page %s 请求超时, page) return None except requests.RequestException as exc: logger.error(page %s 请求失败: %s, page, exc) return None关键请求的失败日志、参数生成日志、请求耗时日志都要记录否则生产环境出问题时你会什么都看不到。9.2 模块化设计从脚本到工程不建议把所有代码都写在一个文件里。推荐按下面的结构组织project/ ├── main.py # 入口文件 ├── config.py # 全局配置 ├── api/ │ ├── __init__.py │ ├── client.py # 请求客户端 │ └── sign.py # 签名与加密逻辑 ├── parser/ │ ├── __init__.py │ └── html_parser.py # HTML/JSON 解析 ├── storage/ │ ├── __init__.py │ └── db.py # 数据存储 └── logs/ └── crawler.log模块化之后每个文件的职责更清晰修改加密逻辑时不需要动请求逻辑修改存储方式时也不需要动解析逻辑。9.3 数据存储与去重策略如果爬虫需要长期运行必须做好数据去重。最简单的方案是将已抓取的数据 ID 存储在数据库表中并建立唯一索引插入数据时使用INSERT IGNORE或ON DUPLICATE KEY UPDATE。以 MySQL 为例CREATE TABLE crawled_data ( id BIGINT PRIMARY KEY AUTO_INCREMENT, data_id VARCHAR(64) NOT NULL COMMENT 业务数据唯一ID, content JSON, created_at DATETIME DEFAULT CURRENT_TIMESTAMP, UNIQUE KEY uk_data_id (data_id) ) ENGINE InnoDB DEFAULT CHARSET utf8mb4;插入时使用INSERT INTO crawled_data (data_id, content) VALUES (%s, %s) ON DUPLICATE KEY UPDATE content VALUES(content);这样每次抓取时即使遇到重复数据也不会报错而是直接更新内容。9.4 定期验证与自动化监控一个爬虫能不能长期稳定运行取决于你对目标站点变化的敏感度。建议定期进行以下工作每周验证一次签名逻辑是否仍然有效检查请求失败率是否升高检查服务器日志中的 403、503 状态码数量关注目标站点是否有功能更新或接口变更。如果条件允许可以为爬虫增加告警机制例如请求失败率连续 10 分钟超过 20% 时通过邮件或企业微信机器人推送通知。9.5 性能优化思路优化目标方案请求并发使用concurrent.futures.ThreadPoolExecutor做可控并发参数计算加密逻辑结果做内存缓存避免重复计算数据解析优先使用lxml大文件使用流式解析存储优化批量插入减少频繁连接数据库网络优化使用连接池复用 TCP 连接需要特别注意的是并发不是越高越好。过高的并发不仅容易触发对方的风控还会导致本地 CPU、内存、数据库连接全部吃紧。合理的方式是逐步增加并发数观察成功率变化后稳定在一个安全区间。10. 总结与后续学习路线到这一步你已经完整走过了 Python 爬虫与 JS 逆向从入门到进阶的主线其中包括环境准备、requests 基础、浏览器开发者工具分析、加密参数定位与复现、常见反爬类型的应对思路以及生产环境中的工程化注意事项。如果这篇文章只总结一个核心那就是JS 逆向不是一门“套路”学科而是一项“分析能力”。你真正需要掌握的并不是某一个网站的加密参数而是定位问题、分析逻辑、复现结果的方法。这套方法在不同的网站之间是通用的。接下来你可以按以下顺序继续深入把 requests 基础语法练熟尤其要熟练使用 Session、请求头伪装、异常处理在浏览器开发者工具中反复演练网络请求分析直到能够快速定位一个动态参数是在哪个 JS 文件中生成的学习 Python 中execjs或subprocess调用 Node.js 的方式为执行复杂加密逻辑做准备熟悉常见加密算法MD5、SHA、AES、RSA 的特征与适用场景至少要能一眼辨认出参数是用哪种算法生成的做一两个模拟项目例如抓取某个提供公开数据的网站在保护好对方服务器压力的前提下完成“请求—解析—存储—增量更新”的完整闭环有余力时学习 Selenium、Playwright 等自动化工具但不要过度依赖它们因为它们无法替代真正的 JS 逻辑分析能力。爬虫技术本身是中性工具如何使用完全取决于开发者。希望你在后续的学习和项目中始终保持对目标站点规则的基本尊重使用合法、合理、合规的方式获取数据把精力放在真正提升自己分析能力的地方而不是放在无休止的对抗上。多动手写代码、多分析真实网页你会发现那些看似复杂的加密逻辑其实都有迹可循。如果你觉得这篇文章对你有帮助可以收藏备用后续遇到具体问题时也能随时查阅。
