Scrapy + Playwright 完整示例（JS 动态渲染网页）

作用Scrapy 本身不执行 JSPlaywright 启动真实浏览器渲染页面获取 ajax 动态加载出来的数据。1. 安装依赖pip install scrapy scrapy-playwright# 安装浏览器内核playwright install chromium2. 修改 settings.py 关键配置3. 编写爬虫 spiders/dynamic_spider.py4. 运行爬虫scrapy crawl dynamic_spider -o out.json常用 meta 参数拓展重要注意点Playwright 会启动 Chromium 浏览器内存占用高并发不要设置很大。headlessFalse 可以看到浏览器真实访问页面适合调试。如果页面滚动加载需要自定义 playwright 页面回调模拟下拉滚动。