1. 项目缘起与核心目标最近在整理一些摄影作品集想找点高质量的参考图就瞄上了“图集谷”这类写真集网站。这类网站通常图片质量高、分类清晰但一张张手动下载实在费时费力尤其是当你想批量获取某个主题下的所有图片时。于是一个自动化爬虫工具就成了刚需。这个“图集谷-写真集-爬虫-2.1”项目就是基于这个实际需求诞生的。它不是一个泛泛而谈的爬虫教程而是针对特定目标网站以“图集谷”为例的写真集图片批量下载工具核心目标非常明确稳定、高效、完整地爬取目标写真集的所有高清原图并按照合理的目录结构进行本地化存储。为什么是“2.1”版本这背后其实是一段迭代史。最初的1.0版本可能只是简单地用requests抓取页面然后正则匹配图片链接但在实际运行中会遇到各种问题反爬机制如请求头校验、频率限制、动态加载的图片JavaScript渲染、分页逻辑复杂、以及下载过程中的网络异常处理等。2.0版本可能针对这些问题进行了重构而2.1则是在此基础上进一步优化了代码结构、增强了异常恢复能力并可能引入了一些更“聪明”的策略比如模拟用户行为、使用会话Session维持状态、更精细的解析逻辑等。所以这个项目名本身就隐含了从简单到复杂、从脆弱到健壮的开发历程。对于想学习爬虫的朋友来说这个项目极具代表性。它覆盖了从网页分析、请求模拟、数据解析、到文件存储和错误处理的完整链条。同时由于目标网站类型的特殊性它还会涉及到一些图片类网站特有的技术点比如大图链接的获取往往隐藏在缩略图或JS数据中、避免触发防盗链、以及如何优雅地处理大量文件的并发下载。接下来我将结合这个项目的实现拆解其中的核心技术环节和避坑经验。2. 目标网站分析与请求策略制定动手写代码之前充分的“侦察”工作必不可少。对于“图集谷”这类网站我们的分析需要层层递进。2.1 页面结构与数据来源分析首先打开一个具体的写真集页面。我们需要弄清楚图片是如何呈现在网页上的。打开浏览器开发者工具F12切换到“网络”(Network)选项卡然后刷新页面。重点关注XHR或Fetch类型的请求。很多时候现代网站为了性能和体验不会在初始的HTML中直接包含所有图片的src而是通过JavaScript异步加载数据。一种常见的情况是页面HTML只包含了图片的缩略图可能是低分辨率或带水印的而高清原图的URL是通过一个额外的API请求获取的这个请求返回一个JSON数据里面包含了所有高清图片的链接列表。我们需要找到这个API请求。通过查看请求的URL、参数Payload和响应Response可以确定数据来源。例如你可能会发现一个类似/api/gallery/images?album_id123page1的请求其响应是一个JSON数组每个元素包含了图片的id,url,title等信息。这是最理想的情况因为数据规整易于解析。另一种情况是图片直接通过HTML渲染但可能被懒加载lazy loading。此时真实的图片URL可能存储在>headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }Referer检查图片服务器可能会检查请求来源Referer头如果Referer不是来自本站点则返回403错误或一张替代图片如“此图片仅限于本站点展示”。在下载图片时我们需要将Referer设置为该图片所在页面的URL。# 假设图片所在页面是 page_url img_headers headers.copy() img_headers[Referer] page_url response session.get(img_url, headersimg_headers)访问频率限制如果请求过快IP可能会被暂时封禁。这是最需要谨慎处理的一点。策略包括添加延迟在请求之间使用time.sleep()插入随机间隔模拟人类浏览。使用代理IP池对于大规模爬取这是必备方案。可以从一些服务商获取代理IP并在请求失败时自动切换。限制并发数即使使用异步也要控制同时发起的请求数量。Cookie/Session验证有些网站需要登录后才能查看高清图或者通过Cookie来维持会话状态。我们可以使用requests.Session()对象它会自动处理Cookie并且在同一个会话中发出的所有请求会共享Cookie。session requests.Session() session.headers.update(headers) # 如果需要登录可以先post登录接口 # login_response session.post(login_url, datacredentials) # 后续请求都用这个session动态参数与签名部分API请求可能包含随时间或内容变化的token、sign等参数。这需要逆向分析前端JS代码找到参数生成算法并用Python实现。这是爬虫中较难的部分在这个项目中如果遇到可能需要单独深入研究。基于以上分析我们的爬虫基础请求策略就明确了使用requests.Session维持会话配置合理的请求头特别是User-Agent和Referer在关键操作间添加延迟并为可能出现的IP封锁准备好代理切换机制。3. 核心爬取流程与代码实现拆解有了策略我们就可以开始构建爬虫的核心逻辑了。整个流程可以抽象为获取专辑列表 - 遍历每个专辑 - 获取专辑内所有图片链接 - 下载每张图片。3.1 获取写真集列表页与分页处理通常网站会有个列表页展示所有或某个分类下的写真集。我们需要从这个页面提取每个写真集的标题和详情页链接。首先分析列表页的URL规律。它可能是这样的https://tujigu.com/albums?page1。page参数控制分页。我们需要写一个循环来处理分页。import requests from bs4 import BeautifulSoup import time import os BASE_URL https://tujigu.com # 假设的基地址 LIST_URL_TEMPLATE BASE_URL /albums?page{} def get_album_links_from_page(page_num): 获取指定页码列表页上的所有专辑链接 url LIST_URL_TEMPLATE.format(page_num) try: # 使用全局session维持Cookie和Headers resp session.get(url, timeout10) resp.raise_for_status() # 检查HTTP错误 soup BeautifulSoup(resp.text, html.parser) # 这里需要根据实际HTML结构定位专辑链接 # 假设每个专辑块有一个class为album-item的a标签 album_items soup.find_all(a, class_album-item, hrefTrue) album_links [item[href] for item in album_items] # 处理相对链接 album_links [BASE_URL link if link.startswith(/) else link for link in album_links] return album_links except requests.exceptions.RequestException as e: print(f获取第{page_num}页列表失败: {e}) return [] # 分页爬取假设最多10页 all_album_links [] for page in range(1, 11): print(f正在抓取列表页第 {page} 页...) links get_album_links_from_page(page) if not links: # 如果某一页没抓到链接可能已到末页 print(f第{page}页无数据停止爬取列表。) break all_album_links.extend(links) time.sleep(1.5) # 页间延迟避免过快 print(f共获取到 {len(all_album_links)} 个专辑链接。)注意find_all中的选择器a, class_album-item必须根据目标网站的实际HTML结构进行调整。你需要使用开发者工具的“检查”功能查看列表元素的标签和类名。这是爬虫适配不同网站最关键的一步。3.2 解析单个写真集详情页与图片链接提取拿到专辑详情页链接后下一步是进入该页面提取所有高清图片的URL。这是核心中的核心。假设我们通过分析发现图片数据来自一个API接口。我们需要在详情页的HTML或网络请求中找到这个API的调用方式和参数。def get_image_urls_from_album(album_url): 从专辑详情页解析出所有高清图片的URL try: resp session.get(album_url, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 方案一假设图片链接直接存在于HTML的某个data属性或JS变量中 # 例如页面中有一个script标签里面包含了图片列表的JSON数据 script_tags soup.find_all(script) image_urls [] for script in script_tags: if script.string and imageList in script.string: # 这里需要非常小心地解析JS代码提取JSON字符串 # 可能用到正则表达式或简单的字符串分割 # 例如 imageList [{“url”: “...”}, ...]; import re import json # 这是一个非常简化的示例实际正则表达式需要精确匹配 pattern rimageList\s*\s*(\[.*?\]); match re.search(pattern, script.string, re.DOTALL) if match: json_str match.group(1) try: image_list json.loads(json_str) image_urls [item[url] for item in image_list] break # 找到后退出循环 except json.JSONDecodeError: print(JSON解析失败尝试其他方法。) # 方案二如果方案一失败尝试寻找并调用隐藏的API if not image_urls: # 再次查看网络请求找到获取图片的XHR请求 # 假设我们发现了一个规律API URL 是 /api/images?album_idXXX # 我们需要从当前页面HTML中提取出album_id # 例如album_id可能在一个meta标签或某个div的data属性中 meta_tag soup.find(meta, {name: album_id}) if meta_tag: album_id meta_tag[content] api_url f{BASE_URL}/api/images?album_id{album_id} api_resp session.get(api_url, headersheaders) if api_resp.status_code 200: data api_resp.json() image_urls [img[high_resolution_url] for img in data[images]] # 方案三最传统的方式直接解析img标签可能只得到缩略图 if not image_urls: img_tags soup.find_all(img, class_gallery-image) # 根据实际类名调整 for img in img_tags: # 优先取data-src没有则取src img_url img.get(data-src) or img.get(src) if img_url and thumbnail not in img_url: # 简单过滤缩略图 # 补全可能缺失的协议和域名 if img_url.startswith(//): img_url https: img_url elif img_url.startswith(/): img_url BASE_URL img_url image_urls.append(img_url) return list(set(image_urls)) # 去重 except Exception as e: print(f解析专辑 {album_url} 失败: {e}) return []这个函数展示了三种常见的图片链接获取策略并按优先级尝试。在实际项目中你需要根据目标网站的具体情况选择并完善其中一种或多种策略。关键点在于灵活性和容错性网站结构可能会变所以代码不能写死。3.3 图片下载与本地存储管理获取到纯净的高清图片URL列表后下载就相对直接了但仍有不少细节需要注意。def download_image(img_url, save_dir, filenameNone, retry3): 下载单张图片到指定目录 if not filename: # 从URL中提取文件名避免非法字符 filename os.path.basename(img_url).split(?)[0] # 去掉查询参数 # 如果URL中没有明确文件名可以生成一个 if not filename or . not in filename: import hashlib filename hashlib.md5(img_url.encode()).hexdigest() .jpg filepath os.path.join(save_dir, filename) # 如果文件已存在跳过下载支持断点续传 if os.path.exists(filepath): print(f文件已存在跳过: {filename}) return True for i in range(retry): try: # 下载图片时必须设置Referer头否则可能触发防盗链 img_headers session.headers.copy() img_headers[Referer] BASE_URL # 或者具体的专辑页URL resp session.get(img_url, headersimg_headers, streamTrue, timeout30) resp.raise_for_status() # 检查响应内容是否是图片 content_type resp.headers.get(content-type, ) if image not in content_type: print(f警告: {img_url} 返回的内容类型不是图片: {content_type}) # 可以记录到日志然后跳过 return False # 流式写入文件避免大文件占用过多内存 with open(filepath, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) print(f下载成功: {filename}) return True except requests.exceptions.RequestException as e: print(f下载失败 ({i1}/{retry}): {img_url}, 错误: {e}) time.sleep(2 ** i) # 指数退避策略等待 except IOError as e: print(f文件写入失败: {filepath}, 错误: {e}) return False print(f重试{retry}次后仍失败: {img_url}) return False def download_album(album_url, album_title, base_save_dirdownloads): 下载整个专辑 # 创建以专辑标题命名的文件夹清理非法字符 import re safe_title re.sub(r[:/\\|?*], _, album_title)[:100] # 限制长度 album_save_dir os.path.join(base_save_dir, safe_title) os.makedirs(album_save_dir, exist_okTrue) print(f开始处理专辑: {album_title}) image_urls get_image_urls_from_album(album_url) if not image_urls: print(f专辑 {album_title} 未找到图片链接。) return print(f找到 {len(image_urls)} 张图片。) success_count 0 for idx, img_url in enumerate(image_urls, 1): print(f正在下载 [{idx}/{len(image_urls)}]: {img_url[:60]}...) if download_image(img_url, album_save_dir, filenamef{idx:03d}.jpg): success_count 1 time.sleep(0.5) # 图片间下载延迟非常重要 print(f专辑《{album_title}》下载完成成功 {success_count}/{len(image_urls)}。)这里有几个关键经验文件名处理从URL提取文件名时要小心可能包含查询参数或非法字符。使用os.path.basename和split是常见做法对于无扩展名的URL可以生成哈希名或使用序号。断点续传通过检查文件是否存在来跳过已下载的图片这在爬虫意外中断时非常有用。流式下载使用resp.iter_content并设置chunk_size可以高效下载大文件而不必全部读入内存。内容类型检查服务器可能返回错误页面如403 Forbidden的HTML而不是图片。检查Content-Type头可以过滤掉这些无效响应。延迟控制time.sleep(0.5)这样的延迟是避免请求过快被封IP的简单有效手段。对于大量下载可以考虑更复杂的速率限制策略。4. 工程化提升异常处理、日志与并发优化一个健壮的爬虫不能只关注“跑通”更要考虑在复杂网络环境下的稳定运行。这就是2.1版本相较于初版需要提升的地方。4.1 全面的异常处理与重试机制网络请求充满不确定性连接超时、服务器错误、临时性故障等。我们的代码必须能优雅地处理这些异常。import logging from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type # 配置日志便于调试和记录运行状态 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log, encodingutf-8), logging.StreamHandler() ]) logger logging.getLogger(__name__) # 使用tenacity库实现更强大的重试装饰器 retry( stopstop_after_attempt(5), # 最多重试5次 waitwait_exponential(multiplier1, min2, max30), # 指数退避等待 retryretry_if_exception_type((requests.exceptions.ConnectionError, requests.exceptions.Timeout, requests.exceptions.HTTPError)), # 只对特定异常重试 reraiseTrue # 重试次数用尽后抛出原异常 ) def robust_request(session, url, methodGET, **kwargs): 一个封装了重试逻辑的请求函数 # 可以在这里统一添加一些默认参数如超时时间 kwargs.setdefault(timeout, 15) response session.request(method, url, **kwargs) # 对于4xx客户端错误如404, 403通常重试无意义直接抛出 if 400 response.status_code 500: response.raise_for_status() # 对于5xx服务器错误重试可能有效 elif response.status_code 500: raise requests.exceptions.HTTPError(fServer Error: {response.status_code}) return response # 在之前的download_image函数中可以调用这个robust_request # resp robust_request(session, img_url, headersimg_headers, streamTrue)tenacity库让重试逻辑的编写变得非常清晰和强大。指数退避wait_exponential意味着每次重试的等待时间会逐渐变长如2秒4秒8秒...这比固定间隔更友好能给服务器喘息之机。4.2 结构化日志记录打印print语句在调试时有用但对于长期运行或自动化的爬虫结构化的日志至关重要。它可以帮助你追溯问题、统计成功率、分析性能瓶颈。# 在关键节点记录日志 logger.info(f开始爬取列表页起始页码: {start_page}) try: image_urls get_image_urls_from_album(album_url) logger.info(f专辑 {album_title} 解析到 {len(image_urls)} 个图片链接。) except Exception as e: logger.error(f解析专辑 {album_url} 时发生异常: {e}, exc_infoTrue) # exc_info记录堆栈跟踪 image_urls [] # 下载结果也可以记录 if download_success: logger.debug(f图片下载成功: {filename}) # Debug级别记录详细过程 else: logger.warning(f图片下载失败URL: {img_url})将日志同时输出到文件和控制台方便不同场景查看。通过设置不同的日志级别DEBUG, INFO, WARNING, ERROR可以灵活控制输出量。4.3 引入并发/异步下载提升效率当有数百上千张图片需要下载时串行下载一张下完再下一张会非常慢。引入并发是必然选择。但并发不是简单的“开多线程”需要谨慎控制避免对目标服务器造成过大压力或触发反爬。方案一使用concurrent.futures的线程池适合I/O密集型任务from concurrent.futures import ThreadPoolExecutor, as_completed def download_album_concurrently(album_url, album_title, max_workers5): 使用线程池并发下载一个专辑内的图片 image_urls get_image_urls_from_album(album_url) if not image_urls: return safe_title re.sub(r[:/\\|?*], _, album_title) album_save_dir os.path.join(downloads, safe_title) os.makedirs(album_save_dir, exist_okTrue) # 准备下载任务参数 download_tasks [] for idx, img_url in enumerate(image_urls): filename f{idx:03d}.jpg filepath os.path.join(album_save_dir, filename) # 只下载不存在的文件 if not os.path.exists(filepath): download_tasks.append((img_url, album_save_dir, filename)) logger.info(f专辑《{album_title}》共有 {len(download_tasks)} 个下载任务。) success_count 0 # 使用线程池控制最大并发数 with ThreadPoolExecutor(max_workersmax_workers) as executor: # 提交任务 future_to_url {executor.submit(download_image_task, task): task for task in download_tasks} for future in as_completed(future_to_url): task future_to_url[future] img_url, save_dir, filename task try: result future.result(timeout60) # 设置任务超时 if result: success_count 1 else: logger.warning(f任务失败: {filename}) except Exception as e: logger.error(f任务执行异常: {img_url}, 错误: {e}) logger.info(f专辑《{album_title}》并发下载完成成功 {success_count}/{len(download_tasks)}。) def download_image_task(args): 包装下载函数适配线程池的submit调用 img_url, save_dir, filename args return download_image(img_url, save_dir, filename)关键参数max_workers这个值不宜设置过大。通常设置为5-10是比较安全的起点。过高的并发会被服务器识别为攻击。你可以先从一个较小的值如3开始测试观察服务器的反应和自身的网络状况再逐步调整。方案二使用asyncioaiohttp进行异步IO更高性能更复杂对于极大规模的爬取异步IO模型效率更高。但代码复杂度也显著增加需要处理异步上下文、信号量控制并发数等。import aiohttp import asyncio async def async_download_image(session, semaphore, img_url, save_dir, filename): 异步下载单张图片 filepath os.path.join(save_dir, filename) if os.path.exists(filepath): return True async with semaphore: # 用信号量控制并发数 for i in range(3): # 重试机制 try: async with session.get(img_url, headersheaders, timeoutaiohttp.ClientTimeout(total30)) as resp: if resp.status 200: content await resp.read() with open(filepath, wb) as f: f.write(content) logger.debug(f异步下载成功: {filename}) return True else: logger.warning(f下载失败状态码 {resp.status}: {img_url}) except Exception as e: logger.error(f异步下载异常 ({i1}/3): {img_url}, 错误: {e}) await asyncio.sleep(2 ** i) # 异步等待 return False async def async_download_album(album_url, album_title, max_concurrent5): 异步下载整个专辑 image_urls get_image_urls_from_album(album_url) # 注意这个函数现在是同步的 # 需要将其改造成异步或单独处理 connector aiohttp.TCPConnector(limitmax_concurrent, sslFalse) # 限制连接池大小 timeout aiohttp.ClientTimeout(total60) semaphore asyncio.Semaphore(max_concurrent) # 控制并发数的信号量 async with aiohttp.ClientSession(connectorconnector, timeouttimeout, headersheaders) as session: tasks [] for idx, img_url in enumerate(image_urls): filename f{idx:03d}.jpg task async_download_image(session, semaphore, img_url, album_save_dir, filename) tasks.append(task) results await asyncio.gather(*tasks, return_exceptionsTrue) # 处理结果...选择建议对于新手或项目规模不是特别巨大比如一次下载几十个专辑推荐使用ThreadPoolExecutor方案。它基于线程代码更直观易于理解和调试且对于I/O密集型网络下载任务性能提升已经非常明显。asyncio方案虽然性能上限更高但异步编程范式有一定门槛错误处理也更复杂。在“图集谷-写真集-爬虫-2.1”这个上下文中线程池通常是更务实的选择。5. 项目配置、运行与维护建议一个完整的项目不仅仅是核心代码还包括如何配置、运行以及长期维护。5.1 使用配置文件管理参数将易变的参数抽取到配置文件如config.yaml或config.ini中方便修改而无需改动代码。# config.yaml target: base_url: https://tujigu.com list_url_template: /albums?page{} # 可以添加更多目标站点的特定配置如API路径、选择器等 request: user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 default_timeout: 15 delay_between_requests: 1.0 # 基础请求延迟秒 delay_between_images: 0.5 # 图片下载间延迟 download: base_dir: ./downloads max_workers: 5 # 并发线程数 retry_times: 3 proxy: enabled: false http: http://your-proxy:port https: http://your-proxy:port logging: level: INFO file: crawler.log在代码中读取配置import yaml with open(config.yaml, r, encodingutf-8) as f: config yaml.safe_load(f) BASE_URL config[target][base_url] MAX_WORKERS config[download][max_workers] REQUEST_DELAY config[request][delay_between_requests]5.2 主程序入口与流程控制将各个模块组合起来形成一个可以命令行运行的主程序。# main.py import sys from crawler.core import download_album_concurrently, get_album_links_from_page from crawler.utils import setup_logging, load_config import time def main(): config load_config(config.yaml) setup_logging(config[logging]) all_albums_to_download [] # 模式1从列表页开始爬取 if config[mode] list: start_page config.get(start_page, 1) end_page config.get(end_page, 5) for page in range(start_page, end_page 1): logger.info(f 抓取列表页第 {page} 页 ) album_links get_album_links_from_page(page, config) all_albums_to_download.extend([(link, fAlbum_from_page_{page}_{idx}) for idx, link in enumerate(album_links)]) time.sleep(config[request][delay_between_requests]) # 模式2直接指定专辑URL列表 elif config[mode] specific: specific_urls config.get(specific_album_urls, []) all_albums_to_download [(url, fSpecific_Album_{idx}) for idx, url in enumerate(specific_urls)] logger.info(f总共计划下载 {len(all_albums_to_download)} 个专辑。) # 逐个或批量处理专辑 for idx, (album_url, default_title) in enumerate(all_albums_to_download, 1): logger.info(f【{idx}/{len(all_albums_to_download)}】开始处理专辑: {album_url}) # 这里可以添加逻辑先从页面获取真实的专辑标题 # real_title get_album_title(album_url) or default_title real_title default_title # 简化示例 try: download_album_concurrently(album_url, real_title, config) except Exception as e: logger.error(f处理专辑 {album_url} 时发生未捕获的异常: {e}, exc_infoTrue) # 专辑间较大延迟避免请求过于密集 time.sleep(3) logger.info(所有任务处理完毕。) if __name__ __main__: main()5.3 长期维护与伦理考量爬虫不是一劳永逸的。网站改版是最常见的挑战。因此代码中解析HTML的部分特别是CSS选择器应该被集中管理便于快速调整。可以考虑将选择器也放入配置文件。伦理与法律是红线遵守robots.txt在爬取前务必访问https://目标网站/robots.txt查看网站是否允许爬虫访问你目标路径。虽然这不是法律强制但这是网络礼仪。尊重版权爬取的图片很可能受版权保护。本项目代码仅用于技术学习交流。切勿将爬取的内容用于商业用途或大规模公开分发这很可能构成侵权。控制访问频率这是最重要的实践道德。你的爬虫不应该影响目标网站的正常服务。设置合理的延迟和并发数做一个“友好”的爬虫。识别并遵守反爬如果网站明确采取了反爬措施如弹出验证码、返回明确警告应该停止爬取或寻找官方API等合法替代方案。最后这个“图集谷-写真集-爬虫-2.1”项目从简单的脚本演化而来融入了网站分析、请求模拟、数据解析、并发控制、错误处理和工程化配置等多个层面。它更像一个框架你可以通过修改解析逻辑和配置将其适配到其他类似的图片或内容网站。在实际操作中最花时间的往往不是写代码而是分析网站结构、测试各种反爬策略以及处理各种意想不到的异常。保持耐心细致分析谨慎操作是爬虫工程师最重要的品质。
1. 项目缘起与核心目标最近在整理一些摄影作品集想找点高质量的参考图就瞄上了“图集谷”这类写真集网站。这类网站通常图片质量高、分类清晰但一张张手动下载实在费时费力尤其是当你想批量获取某个主题下的所有图片时。于是一个自动化爬虫工具就成了刚需。这个“图集谷-写真集-爬虫-2.1”项目就是基于这个实际需求诞生的。它不是一个泛泛而谈的爬虫教程而是针对特定目标网站以“图集谷”为例的写真集图片批量下载工具核心目标非常明确稳定、高效、完整地爬取目标写真集的所有高清原图并按照合理的目录结构进行本地化存储。为什么是“2.1”版本这背后其实是一段迭代史。最初的1.0版本可能只是简单地用requests抓取页面然后正则匹配图片链接但在实际运行中会遇到各种问题反爬机制如请求头校验、频率限制、动态加载的图片JavaScript渲染、分页逻辑复杂、以及下载过程中的网络异常处理等。2.0版本可能针对这些问题进行了重构而2.1则是在此基础上进一步优化了代码结构、增强了异常恢复能力并可能引入了一些更“聪明”的策略比如模拟用户行为、使用会话Session维持状态、更精细的解析逻辑等。所以这个项目名本身就隐含了从简单到复杂、从脆弱到健壮的开发历程。对于想学习爬虫的朋友来说这个项目极具代表性。它覆盖了从网页分析、请求模拟、数据解析、到文件存储和错误处理的完整链条。同时由于目标网站类型的特殊性它还会涉及到一些图片类网站特有的技术点比如大图链接的获取往往隐藏在缩略图或JS数据中、避免触发防盗链、以及如何优雅地处理大量文件的并发下载。接下来我将结合这个项目的实现拆解其中的核心技术环节和避坑经验。2. 目标网站分析与请求策略制定动手写代码之前充分的“侦察”工作必不可少。对于“图集谷”这类网站我们的分析需要层层递进。2.1 页面结构与数据来源分析首先打开一个具体的写真集页面。我们需要弄清楚图片是如何呈现在网页上的。打开浏览器开发者工具F12切换到“网络”(Network)选项卡然后刷新页面。重点关注XHR或Fetch类型的请求。很多时候现代网站为了性能和体验不会在初始的HTML中直接包含所有图片的src而是通过JavaScript异步加载数据。一种常见的情况是页面HTML只包含了图片的缩略图可能是低分辨率或带水印的而高清原图的URL是通过一个额外的API请求获取的这个请求返回一个JSON数据里面包含了所有高清图片的链接列表。我们需要找到这个API请求。通过查看请求的URL、参数Payload和响应Response可以确定数据来源。例如你可能会发现一个类似/api/gallery/images?album_id123page1的请求其响应是一个JSON数组每个元素包含了图片的id,url,title等信息。这是最理想的情况因为数据规整易于解析。另一种情况是图片直接通过HTML渲染但可能被懒加载lazy loading。此时真实的图片URL可能存储在>headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }Referer检查图片服务器可能会检查请求来源Referer头如果Referer不是来自本站点则返回403错误或一张替代图片如“此图片仅限于本站点展示”。在下载图片时我们需要将Referer设置为该图片所在页面的URL。# 假设图片所在页面是 page_url img_headers headers.copy() img_headers[Referer] page_url response session.get(img_url, headersimg_headers)访问频率限制如果请求过快IP可能会被暂时封禁。这是最需要谨慎处理的一点。策略包括添加延迟在请求之间使用time.sleep()插入随机间隔模拟人类浏览。使用代理IP池对于大规模爬取这是必备方案。可以从一些服务商获取代理IP并在请求失败时自动切换。限制并发数即使使用异步也要控制同时发起的请求数量。Cookie/Session验证有些网站需要登录后才能查看高清图或者通过Cookie来维持会话状态。我们可以使用requests.Session()对象它会自动处理Cookie并且在同一个会话中发出的所有请求会共享Cookie。session requests.Session() session.headers.update(headers) # 如果需要登录可以先post登录接口 # login_response session.post(login_url, datacredentials) # 后续请求都用这个session动态参数与签名部分API请求可能包含随时间或内容变化的token、sign等参数。这需要逆向分析前端JS代码找到参数生成算法并用Python实现。这是爬虫中较难的部分在这个项目中如果遇到可能需要单独深入研究。基于以上分析我们的爬虫基础请求策略就明确了使用requests.Session维持会话配置合理的请求头特别是User-Agent和Referer在关键操作间添加延迟并为可能出现的IP封锁准备好代理切换机制。3. 核心爬取流程与代码实现拆解有了策略我们就可以开始构建爬虫的核心逻辑了。整个流程可以抽象为获取专辑列表 - 遍历每个专辑 - 获取专辑内所有图片链接 - 下载每张图片。3.1 获取写真集列表页与分页处理通常网站会有个列表页展示所有或某个分类下的写真集。我们需要从这个页面提取每个写真集的标题和详情页链接。首先分析列表页的URL规律。它可能是这样的https://tujigu.com/albums?page1。page参数控制分页。我们需要写一个循环来处理分页。import requests from bs4 import BeautifulSoup import time import os BASE_URL https://tujigu.com # 假设的基地址 LIST_URL_TEMPLATE BASE_URL /albums?page{} def get_album_links_from_page(page_num): 获取指定页码列表页上的所有专辑链接 url LIST_URL_TEMPLATE.format(page_num) try: # 使用全局session维持Cookie和Headers resp session.get(url, timeout10) resp.raise_for_status() # 检查HTTP错误 soup BeautifulSoup(resp.text, html.parser) # 这里需要根据实际HTML结构定位专辑链接 # 假设每个专辑块有一个class为album-item的a标签 album_items soup.find_all(a, class_album-item, hrefTrue) album_links [item[href] for item in album_items] # 处理相对链接 album_links [BASE_URL link if link.startswith(/) else link for link in album_links] return album_links except requests.exceptions.RequestException as e: print(f获取第{page_num}页列表失败: {e}) return [] # 分页爬取假设最多10页 all_album_links [] for page in range(1, 11): print(f正在抓取列表页第 {page} 页...) links get_album_links_from_page(page) if not links: # 如果某一页没抓到链接可能已到末页 print(f第{page}页无数据停止爬取列表。) break all_album_links.extend(links) time.sleep(1.5) # 页间延迟避免过快 print(f共获取到 {len(all_album_links)} 个专辑链接。)注意find_all中的选择器a, class_album-item必须根据目标网站的实际HTML结构进行调整。你需要使用开发者工具的“检查”功能查看列表元素的标签和类名。这是爬虫适配不同网站最关键的一步。3.2 解析单个写真集详情页与图片链接提取拿到专辑详情页链接后下一步是进入该页面提取所有高清图片的URL。这是核心中的核心。假设我们通过分析发现图片数据来自一个API接口。我们需要在详情页的HTML或网络请求中找到这个API的调用方式和参数。def get_image_urls_from_album(album_url): 从专辑详情页解析出所有高清图片的URL try: resp session.get(album_url, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 方案一假设图片链接直接存在于HTML的某个data属性或JS变量中 # 例如页面中有一个script标签里面包含了图片列表的JSON数据 script_tags soup.find_all(script) image_urls [] for script in script_tags: if script.string and imageList in script.string: # 这里需要非常小心地解析JS代码提取JSON字符串 # 可能用到正则表达式或简单的字符串分割 # 例如 imageList [{“url”: “...”}, ...]; import re import json # 这是一个非常简化的示例实际正则表达式需要精确匹配 pattern rimageList\s*\s*(\[.*?\]); match re.search(pattern, script.string, re.DOTALL) if match: json_str match.group(1) try: image_list json.loads(json_str) image_urls [item[url] for item in image_list] break # 找到后退出循环 except json.JSONDecodeError: print(JSON解析失败尝试其他方法。) # 方案二如果方案一失败尝试寻找并调用隐藏的API if not image_urls: # 再次查看网络请求找到获取图片的XHR请求 # 假设我们发现了一个规律API URL 是 /api/images?album_idXXX # 我们需要从当前页面HTML中提取出album_id # 例如album_id可能在一个meta标签或某个div的data属性中 meta_tag soup.find(meta, {name: album_id}) if meta_tag: album_id meta_tag[content] api_url f{BASE_URL}/api/images?album_id{album_id} api_resp session.get(api_url, headersheaders) if api_resp.status_code 200: data api_resp.json() image_urls [img[high_resolution_url] for img in data[images]] # 方案三最传统的方式直接解析img标签可能只得到缩略图 if not image_urls: img_tags soup.find_all(img, class_gallery-image) # 根据实际类名调整 for img in img_tags: # 优先取data-src没有则取src img_url img.get(data-src) or img.get(src) if img_url and thumbnail not in img_url: # 简单过滤缩略图 # 补全可能缺失的协议和域名 if img_url.startswith(//): img_url https: img_url elif img_url.startswith(/): img_url BASE_URL img_url image_urls.append(img_url) return list(set(image_urls)) # 去重 except Exception as e: print(f解析专辑 {album_url} 失败: {e}) return []这个函数展示了三种常见的图片链接获取策略并按优先级尝试。在实际项目中你需要根据目标网站的具体情况选择并完善其中一种或多种策略。关键点在于灵活性和容错性网站结构可能会变所以代码不能写死。3.3 图片下载与本地存储管理获取到纯净的高清图片URL列表后下载就相对直接了但仍有不少细节需要注意。def download_image(img_url, save_dir, filenameNone, retry3): 下载单张图片到指定目录 if not filename: # 从URL中提取文件名避免非法字符 filename os.path.basename(img_url).split(?)[0] # 去掉查询参数 # 如果URL中没有明确文件名可以生成一个 if not filename or . not in filename: import hashlib filename hashlib.md5(img_url.encode()).hexdigest() .jpg filepath os.path.join(save_dir, filename) # 如果文件已存在跳过下载支持断点续传 if os.path.exists(filepath): print(f文件已存在跳过: {filename}) return True for i in range(retry): try: # 下载图片时必须设置Referer头否则可能触发防盗链 img_headers session.headers.copy() img_headers[Referer] BASE_URL # 或者具体的专辑页URL resp session.get(img_url, headersimg_headers, streamTrue, timeout30) resp.raise_for_status() # 检查响应内容是否是图片 content_type resp.headers.get(content-type, ) if image not in content_type: print(f警告: {img_url} 返回的内容类型不是图片: {content_type}) # 可以记录到日志然后跳过 return False # 流式写入文件避免大文件占用过多内存 with open(filepath, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) print(f下载成功: {filename}) return True except requests.exceptions.RequestException as e: print(f下载失败 ({i1}/{retry}): {img_url}, 错误: {e}) time.sleep(2 ** i) # 指数退避策略等待 except IOError as e: print(f文件写入失败: {filepath}, 错误: {e}) return False print(f重试{retry}次后仍失败: {img_url}) return False def download_album(album_url, album_title, base_save_dirdownloads): 下载整个专辑 # 创建以专辑标题命名的文件夹清理非法字符 import re safe_title re.sub(r[:/\\|?*], _, album_title)[:100] # 限制长度 album_save_dir os.path.join(base_save_dir, safe_title) os.makedirs(album_save_dir, exist_okTrue) print(f开始处理专辑: {album_title}) image_urls get_image_urls_from_album(album_url) if not image_urls: print(f专辑 {album_title} 未找到图片链接。) return print(f找到 {len(image_urls)} 张图片。) success_count 0 for idx, img_url in enumerate(image_urls, 1): print(f正在下载 [{idx}/{len(image_urls)}]: {img_url[:60]}...) if download_image(img_url, album_save_dir, filenamef{idx:03d}.jpg): success_count 1 time.sleep(0.5) # 图片间下载延迟非常重要 print(f专辑《{album_title}》下载完成成功 {success_count}/{len(image_urls)}。)这里有几个关键经验文件名处理从URL提取文件名时要小心可能包含查询参数或非法字符。使用os.path.basename和split是常见做法对于无扩展名的URL可以生成哈希名或使用序号。断点续传通过检查文件是否存在来跳过已下载的图片这在爬虫意外中断时非常有用。流式下载使用resp.iter_content并设置chunk_size可以高效下载大文件而不必全部读入内存。内容类型检查服务器可能返回错误页面如403 Forbidden的HTML而不是图片。检查Content-Type头可以过滤掉这些无效响应。延迟控制time.sleep(0.5)这样的延迟是避免请求过快被封IP的简单有效手段。对于大量下载可以考虑更复杂的速率限制策略。4. 工程化提升异常处理、日志与并发优化一个健壮的爬虫不能只关注“跑通”更要考虑在复杂网络环境下的稳定运行。这就是2.1版本相较于初版需要提升的地方。4.1 全面的异常处理与重试机制网络请求充满不确定性连接超时、服务器错误、临时性故障等。我们的代码必须能优雅地处理这些异常。import logging from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type # 配置日志便于调试和记录运行状态 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(crawler.log, encodingutf-8), logging.StreamHandler() ]) logger logging.getLogger(__name__) # 使用tenacity库实现更强大的重试装饰器 retry( stopstop_after_attempt(5), # 最多重试5次 waitwait_exponential(multiplier1, min2, max30), # 指数退避等待 retryretry_if_exception_type((requests.exceptions.ConnectionError, requests.exceptions.Timeout, requests.exceptions.HTTPError)), # 只对特定异常重试 reraiseTrue # 重试次数用尽后抛出原异常 ) def robust_request(session, url, methodGET, **kwargs): 一个封装了重试逻辑的请求函数 # 可以在这里统一添加一些默认参数如超时时间 kwargs.setdefault(timeout, 15) response session.request(method, url, **kwargs) # 对于4xx客户端错误如404, 403通常重试无意义直接抛出 if 400 response.status_code 500: response.raise_for_status() # 对于5xx服务器错误重试可能有效 elif response.status_code 500: raise requests.exceptions.HTTPError(fServer Error: {response.status_code}) return response # 在之前的download_image函数中可以调用这个robust_request # resp robust_request(session, img_url, headersimg_headers, streamTrue)tenacity库让重试逻辑的编写变得非常清晰和强大。指数退避wait_exponential意味着每次重试的等待时间会逐渐变长如2秒4秒8秒...这比固定间隔更友好能给服务器喘息之机。4.2 结构化日志记录打印print语句在调试时有用但对于长期运行或自动化的爬虫结构化的日志至关重要。它可以帮助你追溯问题、统计成功率、分析性能瓶颈。# 在关键节点记录日志 logger.info(f开始爬取列表页起始页码: {start_page}) try: image_urls get_image_urls_from_album(album_url) logger.info(f专辑 {album_title} 解析到 {len(image_urls)} 个图片链接。) except Exception as e: logger.error(f解析专辑 {album_url} 时发生异常: {e}, exc_infoTrue) # exc_info记录堆栈跟踪 image_urls [] # 下载结果也可以记录 if download_success: logger.debug(f图片下载成功: {filename}) # Debug级别记录详细过程 else: logger.warning(f图片下载失败URL: {img_url})将日志同时输出到文件和控制台方便不同场景查看。通过设置不同的日志级别DEBUG, INFO, WARNING, ERROR可以灵活控制输出量。4.3 引入并发/异步下载提升效率当有数百上千张图片需要下载时串行下载一张下完再下一张会非常慢。引入并发是必然选择。但并发不是简单的“开多线程”需要谨慎控制避免对目标服务器造成过大压力或触发反爬。方案一使用concurrent.futures的线程池适合I/O密集型任务from concurrent.futures import ThreadPoolExecutor, as_completed def download_album_concurrently(album_url, album_title, max_workers5): 使用线程池并发下载一个专辑内的图片 image_urls get_image_urls_from_album(album_url) if not image_urls: return safe_title re.sub(r[:/\\|?*], _, album_title) album_save_dir os.path.join(downloads, safe_title) os.makedirs(album_save_dir, exist_okTrue) # 准备下载任务参数 download_tasks [] for idx, img_url in enumerate(image_urls): filename f{idx:03d}.jpg filepath os.path.join(album_save_dir, filename) # 只下载不存在的文件 if not os.path.exists(filepath): download_tasks.append((img_url, album_save_dir, filename)) logger.info(f专辑《{album_title}》共有 {len(download_tasks)} 个下载任务。) success_count 0 # 使用线程池控制最大并发数 with ThreadPoolExecutor(max_workersmax_workers) as executor: # 提交任务 future_to_url {executor.submit(download_image_task, task): task for task in download_tasks} for future in as_completed(future_to_url): task future_to_url[future] img_url, save_dir, filename task try: result future.result(timeout60) # 设置任务超时 if result: success_count 1 else: logger.warning(f任务失败: {filename}) except Exception as e: logger.error(f任务执行异常: {img_url}, 错误: {e}) logger.info(f专辑《{album_title}》并发下载完成成功 {success_count}/{len(download_tasks)}。) def download_image_task(args): 包装下载函数适配线程池的submit调用 img_url, save_dir, filename args return download_image(img_url, save_dir, filename)关键参数max_workers这个值不宜设置过大。通常设置为5-10是比较安全的起点。过高的并发会被服务器识别为攻击。你可以先从一个较小的值如3开始测试观察服务器的反应和自身的网络状况再逐步调整。方案二使用asyncioaiohttp进行异步IO更高性能更复杂对于极大规模的爬取异步IO模型效率更高。但代码复杂度也显著增加需要处理异步上下文、信号量控制并发数等。import aiohttp import asyncio async def async_download_image(session, semaphore, img_url, save_dir, filename): 异步下载单张图片 filepath os.path.join(save_dir, filename) if os.path.exists(filepath): return True async with semaphore: # 用信号量控制并发数 for i in range(3): # 重试机制 try: async with session.get(img_url, headersheaders, timeoutaiohttp.ClientTimeout(total30)) as resp: if resp.status 200: content await resp.read() with open(filepath, wb) as f: f.write(content) logger.debug(f异步下载成功: {filename}) return True else: logger.warning(f下载失败状态码 {resp.status}: {img_url}) except Exception as e: logger.error(f异步下载异常 ({i1}/3): {img_url}, 错误: {e}) await asyncio.sleep(2 ** i) # 异步等待 return False async def async_download_album(album_url, album_title, max_concurrent5): 异步下载整个专辑 image_urls get_image_urls_from_album(album_url) # 注意这个函数现在是同步的 # 需要将其改造成异步或单独处理 connector aiohttp.TCPConnector(limitmax_concurrent, sslFalse) # 限制连接池大小 timeout aiohttp.ClientTimeout(total60) semaphore asyncio.Semaphore(max_concurrent) # 控制并发数的信号量 async with aiohttp.ClientSession(connectorconnector, timeouttimeout, headersheaders) as session: tasks [] for idx, img_url in enumerate(image_urls): filename f{idx:03d}.jpg task async_download_image(session, semaphore, img_url, album_save_dir, filename) tasks.append(task) results await asyncio.gather(*tasks, return_exceptionsTrue) # 处理结果...选择建议对于新手或项目规模不是特别巨大比如一次下载几十个专辑推荐使用ThreadPoolExecutor方案。它基于线程代码更直观易于理解和调试且对于I/O密集型网络下载任务性能提升已经非常明显。asyncio方案虽然性能上限更高但异步编程范式有一定门槛错误处理也更复杂。在“图集谷-写真集-爬虫-2.1”这个上下文中线程池通常是更务实的选择。5. 项目配置、运行与维护建议一个完整的项目不仅仅是核心代码还包括如何配置、运行以及长期维护。5.1 使用配置文件管理参数将易变的参数抽取到配置文件如config.yaml或config.ini中方便修改而无需改动代码。# config.yaml target: base_url: https://tujigu.com list_url_template: /albums?page{} # 可以添加更多目标站点的特定配置如API路径、选择器等 request: user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 default_timeout: 15 delay_between_requests: 1.0 # 基础请求延迟秒 delay_between_images: 0.5 # 图片下载间延迟 download: base_dir: ./downloads max_workers: 5 # 并发线程数 retry_times: 3 proxy: enabled: false http: http://your-proxy:port https: http://your-proxy:port logging: level: INFO file: crawler.log在代码中读取配置import yaml with open(config.yaml, r, encodingutf-8) as f: config yaml.safe_load(f) BASE_URL config[target][base_url] MAX_WORKERS config[download][max_workers] REQUEST_DELAY config[request][delay_between_requests]5.2 主程序入口与流程控制将各个模块组合起来形成一个可以命令行运行的主程序。# main.py import sys from crawler.core import download_album_concurrently, get_album_links_from_page from crawler.utils import setup_logging, load_config import time def main(): config load_config(config.yaml) setup_logging(config[logging]) all_albums_to_download [] # 模式1从列表页开始爬取 if config[mode] list: start_page config.get(start_page, 1) end_page config.get(end_page, 5) for page in range(start_page, end_page 1): logger.info(f 抓取列表页第 {page} 页 ) album_links get_album_links_from_page(page, config) all_albums_to_download.extend([(link, fAlbum_from_page_{page}_{idx}) for idx, link in enumerate(album_links)]) time.sleep(config[request][delay_between_requests]) # 模式2直接指定专辑URL列表 elif config[mode] specific: specific_urls config.get(specific_album_urls, []) all_albums_to_download [(url, fSpecific_Album_{idx}) for idx, url in enumerate(specific_urls)] logger.info(f总共计划下载 {len(all_albums_to_download)} 个专辑。) # 逐个或批量处理专辑 for idx, (album_url, default_title) in enumerate(all_albums_to_download, 1): logger.info(f【{idx}/{len(all_albums_to_download)}】开始处理专辑: {album_url}) # 这里可以添加逻辑先从页面获取真实的专辑标题 # real_title get_album_title(album_url) or default_title real_title default_title # 简化示例 try: download_album_concurrently(album_url, real_title, config) except Exception as e: logger.error(f处理专辑 {album_url} 时发生未捕获的异常: {e}, exc_infoTrue) # 专辑间较大延迟避免请求过于密集 time.sleep(3) logger.info(所有任务处理完毕。) if __name__ __main__: main()5.3 长期维护与伦理考量爬虫不是一劳永逸的。网站改版是最常见的挑战。因此代码中解析HTML的部分特别是CSS选择器应该被集中管理便于快速调整。可以考虑将选择器也放入配置文件。伦理与法律是红线遵守robots.txt在爬取前务必访问https://目标网站/robots.txt查看网站是否允许爬虫访问你目标路径。虽然这不是法律强制但这是网络礼仪。尊重版权爬取的图片很可能受版权保护。本项目代码仅用于技术学习交流。切勿将爬取的内容用于商业用途或大规模公开分发这很可能构成侵权。控制访问频率这是最重要的实践道德。你的爬虫不应该影响目标网站的正常服务。设置合理的延迟和并发数做一个“友好”的爬虫。识别并遵守反爬如果网站明确采取了反爬措施如弹出验证码、返回明确警告应该停止爬取或寻找官方API等合法替代方案。最后这个“图集谷-写真集-爬虫-2.1”项目从简单的脚本演化而来融入了网站分析、请求模拟、数据解析、并发控制、错误处理和工程化配置等多个层面。它更像一个框架你可以通过修改解析逻辑和配置将其适配到其他类似的图片或内容网站。在实际操作中最花时间的往往不是写代码而是分析网站结构、测试各种反爬策略以及处理各种意想不到的异常。保持耐心细致分析谨慎操作是爬虫工程师最重要的品质。
和定时器中断告别delay阻塞)
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
