在气候变化研究中CMIP6 数据几乎是所有区域影响评估和极端气候分析的“起点”。但很多刚接触这套数据的同学第一步就卡在了文件下载上第二步又卡在了“变量到底怎么选”“网格数据怎么处理”这类问题上。再加上 AI 技术在气候数据处理中越来越常用很多教程要么只讲理论要么只有零散代码很难直接照着一路做下来。本文将围绕“AI CMIP6 降尺度 极端气候分析”这条主线串起一套完整实操流程覆盖数据获取、Python 工具链搭建、AI 分析思路、统计降尺度实现、极端气候指数计算与可视化。无论你是刚开始接触气候数据的新手还是已经在做区域影响评估的开发者都可以把本文当作一份可复用的工程笔记。本文所有示例基于 Python 生态重点使用 xarray、netCDF4、cartopy、scikit-learn 等主流库。版本如有差异请根据实际运行环境微调。1. CMIP6 与 AI 分析的核心概念1.1 什么是 CMIP6CMIP6 全称 Coupled Model Intercomparison Project Phase 6即第六次国际耦合模式比较计划。它由世界气候研究计划WCRP组织协调汇集了全球数十个气候模式组的模拟结果是当前气候变化研究中引用最广泛的数据基础之一。从数据角度看CMIP6 提供的是全球气候模式输出结果包括大气、海洋、陆面、冰圈等圈层的变量。常见的变量包括近地表气温tas降水量pr海平面气压psl风速uas、vas地表向下短波辐射rsds相对湿度hurs这些数据覆盖了不同的历史时期和未来情景。历史模拟通常覆盖 1850 年至 2014 年左右未来情景则延伸到 2100 年甚至更远。1.2 CMIP6 的情景体系SSPCMIP6 使用共享社会经济路径Shared Socioeconomic PathwaysSSP来描述不同的未来社会发展情景。常见的组合包括情景名称含义大致温升预期SSP1-1.9可持续路径严格控制升温约 1.5℃SSP1-2.6温和减排路径约 2℃SSP2-4.5中间路径约 3℃SSP3-7.0区域竞争路径约 3.5℃ 以上SSP5-8.5高排放路径约 5℃ 左右在区域影响评估中SSP2-4.5 和 SSP5-8.5 是最常用的两组情景。前者代表“中等努力减排”后者代表“高排放继续发展”两者组合可以构成一个“区间估计”帮助研究者判断未来变化范围。1.3 AI 在 CMIP6 数据分析中的角色AI 技术在 CMIP6 数据处理中并不是“替代物理模型”而是作为一套辅助工具解决传统统计方法难以高效处理的问题。常见应用方向包括偏差校正用机器学习模型学习模式输出与观测数据之间的系统偏差对模式结果进行后处理。极端事件识别用深度学习模型从海量气象场中识别台风、热浪、暴雨等极端事件。模式评估与聚类对多个气候模式的模拟能力进行聚类分析筛选出表现较好的模式子集。统计降尺度用神经网络或随机森林建立大尺度气候变量与局地观测之间的映射关系。这些方向中统计降尺度和偏差校正在科研与工程中应用最成熟也是本文实战部分会重点演示的内容。2. 环境准备与 Python 工具链安装2.1 运行环境建议处理 CMIP6 数据时文件通常以 netCDF 格式存储单个文件大小从几十 MB 到数 GB 不等。建议的本地环境如下操作系统Windows 10/11、Ubuntu 20.04、macOS 均可Python 版本3.9 至 3.11内存至少 8GB推荐 16GB 以上磁盘预留至少 20GB 空间用于数据缓存如果你使用 Linux 服务器建议通过 conda 管理环境可以减少依赖冲突。2.2 核心库安装本文主要使用以下 Python 库xarray处理带维度的科学数组是 netCDF 数据分析的核心netCDF4netCDF 文件读写底层库dask并行计算与大数据分块处理matplotlib基础绘图cartopy地理投影与地图要素绘制cftime处理气候模型中的日历体系scikit-learn机器学习降尺度与偏差校正pandas表格数据处理推荐使用 conda 创建独立环境conda create -n cmip6 python3.11 conda activate cmip6 conda install -c conda-forge xarray netcdf4 dask matplotlib cartopy cftime pandas scikit-learn如果安装 conda-forge 源速度较慢可以切换到国内镜像例如清华 tuna 源或中科大源。安装完成后可以用下面的代码验证环境是否正常import xarray as xr import matplotlib.pyplot as plt import cartopy.crs as ccrs print(xr.__version__) print(环境准备完成)如果输出版本号且没有报错说明基础环境已经可用。2.3 数据文件准备说明本文实战部分不需要你预先下载数 GB 的完整 CMIP6 数据而是使用重新构造的示例 netCDF 文件来演示分析流程。这样可以保证代码在本地环境直接可运行。实际项目中你需要从 ESGF 节点下载所需模式数据。文章第 3 节会给出下载与文件筛选的具体建议。3. CMIP6 数据获取与预处理3.1 数据检索与下载渠道CMIP6 数据通过 ESGFEarth System Grid Federation分布式节点发布。你可以在 ESGF 官网站点搜索数据也可以在部分区域镜像站注册账号后下载。搜索数据时通常需要指定以下条件活动CMIP模式例如 BCC-CSM2-MR、CanESM5、CESM2实验historical、ssp245、ssp585 等变量tas、pr 等频率day日数据、mon月数据网格gn 或 gr不同模式的命名规则略有差异但变量名和实验名是统一的。3.2 选择模式与变量的策略在区域影响评估中不建议只使用单一模式因为单一模式存在较大的不确定性。更稳妥的做法是选择 5 到 10 个常用模式覆盖同一情景如 ssp245对多个模式的结果做集合平均评估模式间离散度作为不确定性参考。变量的选择取决于分析目标。做气温变化分析需要 tas做极端降水分析需要日尺度 pr做热浪分析还需要 tasmax。3.3 数据格式与维度结构CMIP6 数据采用 CFClimate and Forecast元数据约定文件内包含维度、变量和全局属性。打开一个示例文件我们可以这样查看结构import xarray as xr # 假设本地有一个 cmip6 示例文件 ds xr.open_dataset(sample_cmip6.nc) print(ds)输出中会显示维度lat、lon、time、数据变量tas、pr以及坐标信息。3.4 时间处理与重采样CMIP6 日数据的时间轴通常使用“无闰年”或“360 天”等日历。直接用 Pandas 处理容易出现对齐错误因此建议使用 cftime。import cftime import xarray as xr # 将时间索引转换为标准时间 ds xr.open_dataset(sample_cmip6.nc, use_cftimeTrue) print(ds.time.values[:3])如果后续需要做季节统计可以使用 xarray 的 resample 功能。对于 360 天日历的数据resample 频率与标准日历不同建议先统一转换为标准日历或使用分组方式实现季节统计。4. AI 视角下的 CMIP6 数据分析实战4.1 项目目录结构为了让代码便于维护建议按下面的目录结构组织项目cmip6_project/ ├── data/ # 原始数据 │ ├── raw/ │ └── processed/ ├── notebooks/ # 探索性分析 ├── scripts/ # 正式处理脚本 ├── output/ # 图表与结果 └── README.md4.2 生成示例数据为了便于演示我们先用代码构造一份包含气温和降水变量的示例 netCDF 文件。这个文件带有经纬度网格和时间维度后续分析可以直接使用。import numpy as np import xarray as xr import pandas as pd # 构造经纬度网格经度 70-140°E纬度 15-55°N lon np.arange(70, 140.5, 0.5) lat np.arange(15, 55.5, 0.5) time pd.date_range(2015-01-01, periods365*3, freqD) # 构造气温数据包含季节循环和随机扰动 tas 15 10 * np.sin(np.linspace(0, 6*np.pi, len(time)))[:, None, None] tas 0.1 * np.random.randn(len(time), len(lat), len(lon)) # 构造降水数据背景值加随机事件 pr np.random.gamma(shape2, scale1.5, size(len(time), len(lat), len(lon))) ds xr.Dataset( { tas: ((time, lat, lon), tas), pr: ((time, lat, lon), pr), }, coords{ time: time, lat: lat, lon: lon, }, ) ds.tas.attrs[units] degC ds.pr.attrs[units] mm/day ds.to_netcdf(data/raw/sample_cmip6.nc) print(示例数据已生成)这份数据只有 3 年日尺度文件很小适合本地快速跑通流程。实际项目中你将替换为真实的 CMIP6 下载文件。4.3 使用 xarray 完成数据清洗与区域裁剪拿到 CMIP6 文件后第一步往往是裁剪到研究区域避免处理全球数据造成不必要的内存开销。import xarray as xr ds xr.open_dataset(data/raw/sample_cmip6.nc) # 裁剪到中国及周边区域 region ds.sel(latslice(15, 55), lonslice(70, 140)) print(region)需要注意CMIP6 数据的经度范围可能是 0-360也可能是 -180-180。如果目标区域在太平洋或大西洋附近需要先调整经度坐标。# 将经度从 0-360 转换为 -180-180 ds ds.assign_coords(lon(((ds.lon 180) % 360) - 180)) ds ds.sortby(ds.lon)4.4 计算气候态与距平气候态通常指 30 年平均值。对于示例数据我们只有 3 年所以直接计算多年平均值作为演示。# 计算逐日气候态多年同日平均 daily_clim ds.tas.groupby(time.dayofyear).mean(dimtime) # 计算距平 anomaly ds.tas.groupby(time.dayofyear) - daily_clim计算距平后可以绘制某一时间点的空间分布图。4.5 简单可视化可视化是理解数据的第一步。下面代码绘制某一个时次的气温空间分布。import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature fig plt.figure(figsize(10, 6)) ax plt.axes(projectionccrs.PlateCarree()) ax.coastlines() ax.add_feature(cfeature.BORDERS, linestyle:) # 绘制某一时次的气温 data ds.tas.isel(time0) mesh ax.pcolormesh(ds.lon, ds.lat, data, cmapRdBu_r, transformccrs.PlateCarree()) plt.colorbar(mesh, axax, labelTemperature (°C)) ax.set_title(Sample CMIP6 Tas - First Day) plt.savefig(output/tas_map.png, dpi200, bbox_inchestight) plt.show()如果 cartopy 绘图时提示缺少自然地球数据可以设置离线数据路径或先使用ax.coastlines()的基础海岸线。5. 气候降尺度技术详解5.1 为什么需要降尺度全球气候模式的空间分辨率通常在 100 到 200 公里之间这样一个网格单元可能覆盖整个城市群。但区域影响评估、水资源管理、农业规划等场景往往需要 1 到 25 公里的局地信息。降尺度就是解决“全球粗糙、局地精细”矛盾的常用方法。降尺度分为两大类动力降尺度用区域气候模式如 RegCM、WRF嵌套全球模式输出计算成本高但物理过程更完整。统计降尺度建立大尺度气候变量与局地观测之间的统计关系计算效率高是快速评估的首选。5.2 Delta 降尺度方法Delta 方法是最简单的统计降尺度之一。核心思路是将全球模式的“气候变化信号”叠加到高分辨率的观测气候态上。数学表达式为未来局地气候 当前观测气候态 (未来模式气候态 - 当前模式气候态)这种方法的优点是简单、稳定适用于温度类变量。缺点是假设气候变化信号在空间上是平滑的对降水等局部性强的变量表现一般。5.3 Python 实现 Delta 降尺度下面代码演示了 Delta 方法的核心流程。import xarray as xr import numpy as np # 假设已有三份数据 # obs_clim: 高分辨率观测气候态 # hist_clim: 历史时期模式气候态 # future_clim: 未来情景模式气候态 # 生成示例数据格点分辨率不同需先插值到同一网格 # 这里我们使用简单的方式模拟 lon_obs np.arange(70, 141, 0.25) lat_obs np.arange(15, 56, 0.25) # 模拟高分辨率观测气候态 obs_clim xr.DataArray( 10 5 * np.sin((lat_obs - 15) / 40 * np.pi)[:, None], dims(lat, lon), coords{lat: lat_obs, lon: lon_obs}, ) # 模拟模式气候态同样变量但分辨率较粗 lon_mod np.arange(70, 141, 1.0) lat_mod np.arange(15, 56, 1.0) hist_clim xr.DataArray( 9.5 5 * np.sin((lat_mod - 15) / 40 * np.pi)[:, None], dims(lat, lon), coords{lat: lat_mod, lon: lon_mod}, ) future_clim hist_clim 2.0 # 假设未来升温 2℃ # 第一步将模式气候态插值到观测网格 hist_regrid hist_clim.interp(latobs_clim.lat, lonobs_clim.lon) future_regrid future_clim.interp(latobs_clim.lat, lonobs_clim.lon) # 第二步计算气候变化信号 delta future_regrid - hist_regrid # 第三步将信号叠加到观测气候态 future_downscaled obs_clim delta print(future_downscaled)这段代码的核心思路是把模式历史与未来气候态插值到观测网格计算两者的差值得到气候变化信号把信号叠加到高分辨率观测气候态上得到降尺度结果。这种方法的假设是模式模拟的气候变化信号可信而局地精细气候由观测气候态提供。5.4 机器学习降尺度Delta 方法虽然简单但无法捕捉大尺度变量与局地变量之间的非线性关系。更高级的做法是用机器学习模型学习映射关系。常见做法输入特征全球模式的多个大尺度变量如 500hPa 位势高度、海平面气压、相对湿度。目标变量局地气象站观测或高分辨率格点数据。模型随机森林、支持向量回归、神经网络等。由于机器学习降尺度对数据量要求较高这里给出一个简化的训练示例import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import r2_score # 构造示例数据1000 个样本5 个大尺度特征 X np.random.randn(1000, 5) y 2 * X[:, 0] - 1.5 * X[:, 1] 0.5 * X[:, 2] np.random.randn(1000) * 0.1 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) model RandomForestRegressor(n_estimators200, random_state42) model.fit(X_train, y_train) y_pred model.predict(X_test) print(R2 Score:, r2_score(y_test, y_pred))在实际项目中需要把网格点的空间邻域信息、季节信息等作为特征并且要避免训练集与测试集之间的空间自相关问题否则会高估模型表现。关于机器学习降尺度的更多细节建议关注两点一是特征的标准差归一化二是交叉验证时的时空划分策略。6. 极端气候分析全流程实战6.1 极端气候指数介绍极端气候研究通常依赖一套标准化的指数最有名的是 ETCCDIExpert Team on Climate Change Detection and Indices定义的指数体系。常见指数包括指数名称定义TXx暖日最高温每年日最高温的最大值TNn冷夜最低温每年日最低温的最小值R95p强降水总量日降水超过 95 百分位阈值的年累计量CDD连续干日日降水小于 1mm 的最大连续天数RX5day最大 5 日降水量每年最大连续 5 日降水量之和这些指数的共同特点是从日尺度数据提取年尺度指标便于后续做趋势分析和空间分布分析。6.2 计算年最大连续 5 日降水量RX5day下面用 xarray 实现 RX5day 的计算。import xarray as xr import numpy as np import pandas as pd # 打开数据 ds xr.open_dataset(data/raw/sample_cmip6.nc) pr ds.pr # 使用 rolling 计算连续 5 日累计降水 pr_5day pr.rolling(time5, min_periods5).sum() # 按年分组取最大值 rx5day pr_5day.groupby(time.year).max(dimtime) print(rx5day)需要注意rolling 窗口在一年边界处可能包含上一年最后几天的数据。严格处理时应先按年分组再做滚动计算或者使用年度滚动窗口的专门函数。为了演示简便上面的代码直接使用连续滚动实际科研中需要处理边界效应。6.3 计算强降水总量R95pR95p 的关键是先确定阈值。通常做法是取研究时段内所有湿日降水大于等于 1mm降水的 95 百分位作为阈值。# 计算 95 百分位阈值排除干日 wet_pr pr.where(pr 1.0) # 沿时间维度计算 95 百分位 threshold wet_pr.quantile(0.95, dimtime) # 计算超过阈值的降水量 r95p pr.where(pr threshold, 0).groupby(time.year).sum(dimtime) print(r95p)这里同样有细节需要注意阈值按多年统一计算还是按逐年计算会导致结果差异。ETCCDI 官方建议用基准期如 1961-1990的阈值来评估未来变化这样得到的指数才具有气候学意义。6.4 连续干日CDD连续干日的计算稍微复杂因为它涉及“连续状态”的统计。可以使用 xarray 的 groupby 与 cumulative 技巧但更直观的方式是转为 Pandas 逐网格处理尽管效率较低。import xarray as xr import numpy as np # 标记干日降水 1mm dry (pr 1.0).astype(int) # 计算连续干日数 # 思路对每个网格点使用一维逻辑 # 这里演示单个网格点的计算 lon_idx 20 lat_idx 10 dry_series dry.isel(lonlon_idx, latlat_idx).values max_cdd 0 current 0 for val in dry_series: if val 1: current 1 max_cdd max(max_cdd, current) else: current 0 print(fGrid point max CDD: {max_cdd} 天)如果需要高效计算全网格 CDD可以借助numba或xarray.apply_ufunc将上述逻辑向量化。6.5 极端指数趋势分析计算得到极端指数后下一步通常是分析其时间趋势。常用方法包括线性回归和 Theil-Sen 估计。下面用线性回归演示。import numpy as np import xarray as xr from scipy import stats # 假设 rx5day 是按年变化的 DataArray years rx5day.year.values trend_data rx5day.values # 对每个网格点做线性回归 slope np.full(trend_data.shape[1:], np.nan) p_value np.full(trend_data.shape[1:], np.nan) for i in range(trend_data.shape[1]): for j in range(trend_data.shape[2]): series trend_data[:, i, j] mask ~np.isnan(series) if mask.sum() 3: continue res stats.linregress(years[mask], series[mask]) slope[i, j] res.slope p_value[i, j] res.pvalue # 将结果还原为 DataArray slope_da xr.DataArray(slope, dimsrx5day.dims[1:], coordsrx5day.coords) print(slope_da)趋势分析的结果建议配合显著性检验一起展示通常以斜率的 p 值小于 0.05 作为显著趋势的标准。6.6 极端气候空间分布可视化最后将所有结果汇总到一张图上展示极端降水指数的空间格局。import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature fig, axes plt.subplots( 1, 3, figsize(15, 5), subplot_kw{projection: ccrs.PlateCarree()} ) data_list [rx5day.sel(yearrx5day.year[-1]), r95p.sel(yearr95p.year[-1]), threshold] titles [RX5day, R95p, 95th Threshold] for ax, data, title in zip(axes, data_list, titles): ax.coastlines() ax.add_feature(cfeature.BORDERS, linestyle:) mesh ax.pcolormesh(data.lon, data.lat, data, cmapYlGnBu, transformccrs.PlateCarree()) plt.colorbar(mesh, axax, shrink0.8) ax.set_title(title) plt.tight_layout() plt.savefig(output/extreme_indices_map.png, dpi200, bbox_inchestight) plt.show()如果 RGB 颜色过浅或过深可以调整vmin和vmax参数统一色标范围便于多图对比。7. 常见问题与排查思路在 CMIP6 数据处理过程中最容易遇到的问题主要集中在数据格式、时间处理、内存和绘图四个方面。下面汇总成表便于快速定位。问题现象常见原因解决思路open_dataset报错或读取极慢缺少 netCDF4 或 h5netcdf 引擎安装netcdf4库并指定enginenetcdf4时间轴无法解析CMIP6 使用 360 天或 noleap 日历打开时设置use_cftimeTrue使用 cftime 对象经纬度范围显示异常数据经度为 0-360 或 -180-180 不一致使用assign_coords统一经度范围再sortby内存不足一次加载全部全球日数据使用chunk参数配合 dask按时间或空间分块读取插值后出现 NaN目标网格超出源数据范围检查经纬度边界必要时扩展网格范围多个模式分辨率不一致不同模式网格不同统一插值到公共网格如 1°×1°cartopy 海岸线下载失败缺少自然地球矢量数据手动下载 NE 数据并配置CARTOPY_DATA_DIR环境变量在实际项目中建议尽量在数据预处理阶段一次性完成裁剪、重采样和格式转换输出为中间文件这样后续分析可以反复使用不需要每次重新处理原始数据。8. 最佳实践与工程建议8.1 数据管理规范化处理 CMIP6 数据时建议遵循“一次处理、多次复用”的原则。原始数据保留在data/raw目录预处理后的数据统一存放到data/processed目录并按以下格式命名变量_模式_情景_时间段_区域.nc例如tas_BCC-CSM2-MR_ssp245_2031-2060_China.nc这种命名方式可以避免后期混淆文件来源尤其是在同时处理多个模式、多个情景时。8.2 算力优化建议处理全球日尺度数据时内存压力是最大瓶颈。建议使用open_dataset时传入chunks参数让 dask 按块读取。优先裁剪到研究区域再执行重计算。使用xr.save_mfdataset分批写回结果。对于每日数据可以先聚合为月或季节数据再做趋势分析减少计算量。8.3 关于结果的可靠性与不确定性CMIP6 多模式集合的结果比单一模式更可靠。在实际评估报告中建议同时给出多模式集合中位数模式间 25% - 75% 分位范围显著变化的区域掩膜。这样可以在图中同时表达“变化信号”和“不确定性”避免给读者造成“预测很精确”的误解。8.4 版本管理与实验记录气候数据分析是一个高度可回溯的工作。建议使用 Git 管理脚本代码同时在每个输出图中保存对应的处理参数信息例如在图片标题或附注中标记数据版本、时间段、指数计算公式。这样在论文返修或项目汇报时需要重新生成图表也能快速定位。8.5 AI 模型的训练与验证边界使用机器学习做降尺度或偏差校正时要避免数据穿越。具体来说训练集与验证集应按照年份或空间区域划分不能随机打乱验证时段应独立于训练时段建议用前 70% 年份训练、后 30% 年份验证评估指标不能只看相关系数还要看均方根误差、偏差等绝对指标。如果模型在训练时表现很好、验证时严重退化首先要怀疑是否存在时空自相关问题。9. 总结与学习路线本文从 CMIP6 的基本概念出发串起了数据获取、Python 环境搭建、预处理、AI 分析思路、降尺度方法和极端气候指数计算的全流程。通过示例代码你可以掌握 xarray 处理 netCDF 数据的基本范式、Delta 降尺度与机器学习降尺度的核心思路以及极端气候指数的计算与可视化方法。接下来的学习建议按这个顺序展开熟悉 xarray 的维度、坐标、分组、重采样操作这是所有气候数据分析的基础下载一两个真实 CMIP6 模式数据手动完成区域裁剪和气候态计算尝试用 Delta 方法降尺度某区域气温并与原始模式结果对比继续深入机器学习降尺度学习特征工程和时空交叉验证阅读 ETCCDI 指数官方文档逐步实现更多极端指数。实际项目中建议先从“单个变量 单个情景 单个模式”跑通流程再扩展到多模式集合评估。气候数据分析工作量大、细节多把基础流程固化成脚本后后续替换数据就能快速产出结果这也是工程化思维在科研领域最直接的价值体现。
在气候变化研究中CMIP6 数据几乎是所有区域影响评估和极端气候分析的“起点”。但很多刚接触这套数据的同学第一步就卡在了文件下载上第二步又卡在了“变量到底怎么选”“网格数据怎么处理”这类问题上。再加上 AI 技术在气候数据处理中越来越常用很多教程要么只讲理论要么只有零散代码很难直接照着一路做下来。本文将围绕“AI CMIP6 降尺度 极端气候分析”这条主线串起一套完整实操流程覆盖数据获取、Python 工具链搭建、AI 分析思路、统计降尺度实现、极端气候指数计算与可视化。无论你是刚开始接触气候数据的新手还是已经在做区域影响评估的开发者都可以把本文当作一份可复用的工程笔记。本文所有示例基于 Python 生态重点使用 xarray、netCDF4、cartopy、scikit-learn 等主流库。版本如有差异请根据实际运行环境微调。1. CMIP6 与 AI 分析的核心概念1.1 什么是 CMIP6CMIP6 全称 Coupled Model Intercomparison Project Phase 6即第六次国际耦合模式比较计划。它由世界气候研究计划WCRP组织协调汇集了全球数十个气候模式组的模拟结果是当前气候变化研究中引用最广泛的数据基础之一。从数据角度看CMIP6 提供的是全球气候模式输出结果包括大气、海洋、陆面、冰圈等圈层的变量。常见的变量包括近地表气温tas降水量pr海平面气压psl风速uas、vas地表向下短波辐射rsds相对湿度hurs这些数据覆盖了不同的历史时期和未来情景。历史模拟通常覆盖 1850 年至 2014 年左右未来情景则延伸到 2100 年甚至更远。1.2 CMIP6 的情景体系SSPCMIP6 使用共享社会经济路径Shared Socioeconomic PathwaysSSP来描述不同的未来社会发展情景。常见的组合包括情景名称含义大致温升预期SSP1-1.9可持续路径严格控制升温约 1.5℃SSP1-2.6温和减排路径约 2℃SSP2-4.5中间路径约 3℃SSP3-7.0区域竞争路径约 3.5℃ 以上SSP5-8.5高排放路径约 5℃ 左右在区域影响评估中SSP2-4.5 和 SSP5-8.5 是最常用的两组情景。前者代表“中等努力减排”后者代表“高排放继续发展”两者组合可以构成一个“区间估计”帮助研究者判断未来变化范围。1.3 AI 在 CMIP6 数据分析中的角色AI 技术在 CMIP6 数据处理中并不是“替代物理模型”而是作为一套辅助工具解决传统统计方法难以高效处理的问题。常见应用方向包括偏差校正用机器学习模型学习模式输出与观测数据之间的系统偏差对模式结果进行后处理。极端事件识别用深度学习模型从海量气象场中识别台风、热浪、暴雨等极端事件。模式评估与聚类对多个气候模式的模拟能力进行聚类分析筛选出表现较好的模式子集。统计降尺度用神经网络或随机森林建立大尺度气候变量与局地观测之间的映射关系。这些方向中统计降尺度和偏差校正在科研与工程中应用最成熟也是本文实战部分会重点演示的内容。2. 环境准备与 Python 工具链安装2.1 运行环境建议处理 CMIP6 数据时文件通常以 netCDF 格式存储单个文件大小从几十 MB 到数 GB 不等。建议的本地环境如下操作系统Windows 10/11、Ubuntu 20.04、macOS 均可Python 版本3.9 至 3.11内存至少 8GB推荐 16GB 以上磁盘预留至少 20GB 空间用于数据缓存如果你使用 Linux 服务器建议通过 conda 管理环境可以减少依赖冲突。2.2 核心库安装本文主要使用以下 Python 库xarray处理带维度的科学数组是 netCDF 数据分析的核心netCDF4netCDF 文件读写底层库dask并行计算与大数据分块处理matplotlib基础绘图cartopy地理投影与地图要素绘制cftime处理气候模型中的日历体系scikit-learn机器学习降尺度与偏差校正pandas表格数据处理推荐使用 conda 创建独立环境conda create -n cmip6 python3.11 conda activate cmip6 conda install -c conda-forge xarray netcdf4 dask matplotlib cartopy cftime pandas scikit-learn如果安装 conda-forge 源速度较慢可以切换到国内镜像例如清华 tuna 源或中科大源。安装完成后可以用下面的代码验证环境是否正常import xarray as xr import matplotlib.pyplot as plt import cartopy.crs as ccrs print(xr.__version__) print(环境准备完成)如果输出版本号且没有报错说明基础环境已经可用。2.3 数据文件准备说明本文实战部分不需要你预先下载数 GB 的完整 CMIP6 数据而是使用重新构造的示例 netCDF 文件来演示分析流程。这样可以保证代码在本地环境直接可运行。实际项目中你需要从 ESGF 节点下载所需模式数据。文章第 3 节会给出下载与文件筛选的具体建议。3. CMIP6 数据获取与预处理3.1 数据检索与下载渠道CMIP6 数据通过 ESGFEarth System Grid Federation分布式节点发布。你可以在 ESGF 官网站点搜索数据也可以在部分区域镜像站注册账号后下载。搜索数据时通常需要指定以下条件活动CMIP模式例如 BCC-CSM2-MR、CanESM5、CESM2实验historical、ssp245、ssp585 等变量tas、pr 等频率day日数据、mon月数据网格gn 或 gr不同模式的命名规则略有差异但变量名和实验名是统一的。3.2 选择模式与变量的策略在区域影响评估中不建议只使用单一模式因为单一模式存在较大的不确定性。更稳妥的做法是选择 5 到 10 个常用模式覆盖同一情景如 ssp245对多个模式的结果做集合平均评估模式间离散度作为不确定性参考。变量的选择取决于分析目标。做气温变化分析需要 tas做极端降水分析需要日尺度 pr做热浪分析还需要 tasmax。3.3 数据格式与维度结构CMIP6 数据采用 CFClimate and Forecast元数据约定文件内包含维度、变量和全局属性。打开一个示例文件我们可以这样查看结构import xarray as xr # 假设本地有一个 cmip6 示例文件 ds xr.open_dataset(sample_cmip6.nc) print(ds)输出中会显示维度lat、lon、time、数据变量tas、pr以及坐标信息。3.4 时间处理与重采样CMIP6 日数据的时间轴通常使用“无闰年”或“360 天”等日历。直接用 Pandas 处理容易出现对齐错误因此建议使用 cftime。import cftime import xarray as xr # 将时间索引转换为标准时间 ds xr.open_dataset(sample_cmip6.nc, use_cftimeTrue) print(ds.time.values[:3])如果后续需要做季节统计可以使用 xarray 的 resample 功能。对于 360 天日历的数据resample 频率与标准日历不同建议先统一转换为标准日历或使用分组方式实现季节统计。4. AI 视角下的 CMIP6 数据分析实战4.1 项目目录结构为了让代码便于维护建议按下面的目录结构组织项目cmip6_project/ ├── data/ # 原始数据 │ ├── raw/ │ └── processed/ ├── notebooks/ # 探索性分析 ├── scripts/ # 正式处理脚本 ├── output/ # 图表与结果 └── README.md4.2 生成示例数据为了便于演示我们先用代码构造一份包含气温和降水变量的示例 netCDF 文件。这个文件带有经纬度网格和时间维度后续分析可以直接使用。import numpy as np import xarray as xr import pandas as pd # 构造经纬度网格经度 70-140°E纬度 15-55°N lon np.arange(70, 140.5, 0.5) lat np.arange(15, 55.5, 0.5) time pd.date_range(2015-01-01, periods365*3, freqD) # 构造气温数据包含季节循环和随机扰动 tas 15 10 * np.sin(np.linspace(0, 6*np.pi, len(time)))[:, None, None] tas 0.1 * np.random.randn(len(time), len(lat), len(lon)) # 构造降水数据背景值加随机事件 pr np.random.gamma(shape2, scale1.5, size(len(time), len(lat), len(lon))) ds xr.Dataset( { tas: ((time, lat, lon), tas), pr: ((time, lat, lon), pr), }, coords{ time: time, lat: lat, lon: lon, }, ) ds.tas.attrs[units] degC ds.pr.attrs[units] mm/day ds.to_netcdf(data/raw/sample_cmip6.nc) print(示例数据已生成)这份数据只有 3 年日尺度文件很小适合本地快速跑通流程。实际项目中你将替换为真实的 CMIP6 下载文件。4.3 使用 xarray 完成数据清洗与区域裁剪拿到 CMIP6 文件后第一步往往是裁剪到研究区域避免处理全球数据造成不必要的内存开销。import xarray as xr ds xr.open_dataset(data/raw/sample_cmip6.nc) # 裁剪到中国及周边区域 region ds.sel(latslice(15, 55), lonslice(70, 140)) print(region)需要注意CMIP6 数据的经度范围可能是 0-360也可能是 -180-180。如果目标区域在太平洋或大西洋附近需要先调整经度坐标。# 将经度从 0-360 转换为 -180-180 ds ds.assign_coords(lon(((ds.lon 180) % 360) - 180)) ds ds.sortby(ds.lon)4.4 计算气候态与距平气候态通常指 30 年平均值。对于示例数据我们只有 3 年所以直接计算多年平均值作为演示。# 计算逐日气候态多年同日平均 daily_clim ds.tas.groupby(time.dayofyear).mean(dimtime) # 计算距平 anomaly ds.tas.groupby(time.dayofyear) - daily_clim计算距平后可以绘制某一时间点的空间分布图。4.5 简单可视化可视化是理解数据的第一步。下面代码绘制某一个时次的气温空间分布。import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature fig plt.figure(figsize(10, 6)) ax plt.axes(projectionccrs.PlateCarree()) ax.coastlines() ax.add_feature(cfeature.BORDERS, linestyle:) # 绘制某一时次的气温 data ds.tas.isel(time0) mesh ax.pcolormesh(ds.lon, ds.lat, data, cmapRdBu_r, transformccrs.PlateCarree()) plt.colorbar(mesh, axax, labelTemperature (°C)) ax.set_title(Sample CMIP6 Tas - First Day) plt.savefig(output/tas_map.png, dpi200, bbox_inchestight) plt.show()如果 cartopy 绘图时提示缺少自然地球数据可以设置离线数据路径或先使用ax.coastlines()的基础海岸线。5. 气候降尺度技术详解5.1 为什么需要降尺度全球气候模式的空间分辨率通常在 100 到 200 公里之间这样一个网格单元可能覆盖整个城市群。但区域影响评估、水资源管理、农业规划等场景往往需要 1 到 25 公里的局地信息。降尺度就是解决“全球粗糙、局地精细”矛盾的常用方法。降尺度分为两大类动力降尺度用区域气候模式如 RegCM、WRF嵌套全球模式输出计算成本高但物理过程更完整。统计降尺度建立大尺度气候变量与局地观测之间的统计关系计算效率高是快速评估的首选。5.2 Delta 降尺度方法Delta 方法是最简单的统计降尺度之一。核心思路是将全球模式的“气候变化信号”叠加到高分辨率的观测气候态上。数学表达式为未来局地气候 当前观测气候态 (未来模式气候态 - 当前模式气候态)这种方法的优点是简单、稳定适用于温度类变量。缺点是假设气候变化信号在空间上是平滑的对降水等局部性强的变量表现一般。5.3 Python 实现 Delta 降尺度下面代码演示了 Delta 方法的核心流程。import xarray as xr import numpy as np # 假设已有三份数据 # obs_clim: 高分辨率观测气候态 # hist_clim: 历史时期模式气候态 # future_clim: 未来情景模式气候态 # 生成示例数据格点分辨率不同需先插值到同一网格 # 这里我们使用简单的方式模拟 lon_obs np.arange(70, 141, 0.25) lat_obs np.arange(15, 56, 0.25) # 模拟高分辨率观测气候态 obs_clim xr.DataArray( 10 5 * np.sin((lat_obs - 15) / 40 * np.pi)[:, None], dims(lat, lon), coords{lat: lat_obs, lon: lon_obs}, ) # 模拟模式气候态同样变量但分辨率较粗 lon_mod np.arange(70, 141, 1.0) lat_mod np.arange(15, 56, 1.0) hist_clim xr.DataArray( 9.5 5 * np.sin((lat_mod - 15) / 40 * np.pi)[:, None], dims(lat, lon), coords{lat: lat_mod, lon: lon_mod}, ) future_clim hist_clim 2.0 # 假设未来升温 2℃ # 第一步将模式气候态插值到观测网格 hist_regrid hist_clim.interp(latobs_clim.lat, lonobs_clim.lon) future_regrid future_clim.interp(latobs_clim.lat, lonobs_clim.lon) # 第二步计算气候变化信号 delta future_regrid - hist_regrid # 第三步将信号叠加到观测气候态 future_downscaled obs_clim delta print(future_downscaled)这段代码的核心思路是把模式历史与未来气候态插值到观测网格计算两者的差值得到气候变化信号把信号叠加到高分辨率观测气候态上得到降尺度结果。这种方法的假设是模式模拟的气候变化信号可信而局地精细气候由观测气候态提供。5.4 机器学习降尺度Delta 方法虽然简单但无法捕捉大尺度变量与局地变量之间的非线性关系。更高级的做法是用机器学习模型学习映射关系。常见做法输入特征全球模式的多个大尺度变量如 500hPa 位势高度、海平面气压、相对湿度。目标变量局地气象站观测或高分辨率格点数据。模型随机森林、支持向量回归、神经网络等。由于机器学习降尺度对数据量要求较高这里给出一个简化的训练示例import numpy as np from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import train_test_split from sklearn.metrics import r2_score # 构造示例数据1000 个样本5 个大尺度特征 X np.random.randn(1000, 5) y 2 * X[:, 0] - 1.5 * X[:, 1] 0.5 * X[:, 2] np.random.randn(1000) * 0.1 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) model RandomForestRegressor(n_estimators200, random_state42) model.fit(X_train, y_train) y_pred model.predict(X_test) print(R2 Score:, r2_score(y_test, y_pred))在实际项目中需要把网格点的空间邻域信息、季节信息等作为特征并且要避免训练集与测试集之间的空间自相关问题否则会高估模型表现。关于机器学习降尺度的更多细节建议关注两点一是特征的标准差归一化二是交叉验证时的时空划分策略。6. 极端气候分析全流程实战6.1 极端气候指数介绍极端气候研究通常依赖一套标准化的指数最有名的是 ETCCDIExpert Team on Climate Change Detection and Indices定义的指数体系。常见指数包括指数名称定义TXx暖日最高温每年日最高温的最大值TNn冷夜最低温每年日最低温的最小值R95p强降水总量日降水超过 95 百分位阈值的年累计量CDD连续干日日降水小于 1mm 的最大连续天数RX5day最大 5 日降水量每年最大连续 5 日降水量之和这些指数的共同特点是从日尺度数据提取年尺度指标便于后续做趋势分析和空间分布分析。6.2 计算年最大连续 5 日降水量RX5day下面用 xarray 实现 RX5day 的计算。import xarray as xr import numpy as np import pandas as pd # 打开数据 ds xr.open_dataset(data/raw/sample_cmip6.nc) pr ds.pr # 使用 rolling 计算连续 5 日累计降水 pr_5day pr.rolling(time5, min_periods5).sum() # 按年分组取最大值 rx5day pr_5day.groupby(time.year).max(dimtime) print(rx5day)需要注意rolling 窗口在一年边界处可能包含上一年最后几天的数据。严格处理时应先按年分组再做滚动计算或者使用年度滚动窗口的专门函数。为了演示简便上面的代码直接使用连续滚动实际科研中需要处理边界效应。6.3 计算强降水总量R95pR95p 的关键是先确定阈值。通常做法是取研究时段内所有湿日降水大于等于 1mm降水的 95 百分位作为阈值。# 计算 95 百分位阈值排除干日 wet_pr pr.where(pr 1.0) # 沿时间维度计算 95 百分位 threshold wet_pr.quantile(0.95, dimtime) # 计算超过阈值的降水量 r95p pr.where(pr threshold, 0).groupby(time.year).sum(dimtime) print(r95p)这里同样有细节需要注意阈值按多年统一计算还是按逐年计算会导致结果差异。ETCCDI 官方建议用基准期如 1961-1990的阈值来评估未来变化这样得到的指数才具有气候学意义。6.4 连续干日CDD连续干日的计算稍微复杂因为它涉及“连续状态”的统计。可以使用 xarray 的 groupby 与 cumulative 技巧但更直观的方式是转为 Pandas 逐网格处理尽管效率较低。import xarray as xr import numpy as np # 标记干日降水 1mm dry (pr 1.0).astype(int) # 计算连续干日数 # 思路对每个网格点使用一维逻辑 # 这里演示单个网格点的计算 lon_idx 20 lat_idx 10 dry_series dry.isel(lonlon_idx, latlat_idx).values max_cdd 0 current 0 for val in dry_series: if val 1: current 1 max_cdd max(max_cdd, current) else: current 0 print(fGrid point max CDD: {max_cdd} 天)如果需要高效计算全网格 CDD可以借助numba或xarray.apply_ufunc将上述逻辑向量化。6.5 极端指数趋势分析计算得到极端指数后下一步通常是分析其时间趋势。常用方法包括线性回归和 Theil-Sen 估计。下面用线性回归演示。import numpy as np import xarray as xr from scipy import stats # 假设 rx5day 是按年变化的 DataArray years rx5day.year.values trend_data rx5day.values # 对每个网格点做线性回归 slope np.full(trend_data.shape[1:], np.nan) p_value np.full(trend_data.shape[1:], np.nan) for i in range(trend_data.shape[1]): for j in range(trend_data.shape[2]): series trend_data[:, i, j] mask ~np.isnan(series) if mask.sum() 3: continue res stats.linregress(years[mask], series[mask]) slope[i, j] res.slope p_value[i, j] res.pvalue # 将结果还原为 DataArray slope_da xr.DataArray(slope, dimsrx5day.dims[1:], coordsrx5day.coords) print(slope_da)趋势分析的结果建议配合显著性检验一起展示通常以斜率的 p 值小于 0.05 作为显著趋势的标准。6.6 极端气候空间分布可视化最后将所有结果汇总到一张图上展示极端降水指数的空间格局。import matplotlib.pyplot as plt import cartopy.crs as ccrs import cartopy.feature as cfeature fig, axes plt.subplots( 1, 3, figsize(15, 5), subplot_kw{projection: ccrs.PlateCarree()} ) data_list [rx5day.sel(yearrx5day.year[-1]), r95p.sel(yearr95p.year[-1]), threshold] titles [RX5day, R95p, 95th Threshold] for ax, data, title in zip(axes, data_list, titles): ax.coastlines() ax.add_feature(cfeature.BORDERS, linestyle:) mesh ax.pcolormesh(data.lon, data.lat, data, cmapYlGnBu, transformccrs.PlateCarree()) plt.colorbar(mesh, axax, shrink0.8) ax.set_title(title) plt.tight_layout() plt.savefig(output/extreme_indices_map.png, dpi200, bbox_inchestight) plt.show()如果 RGB 颜色过浅或过深可以调整vmin和vmax参数统一色标范围便于多图对比。7. 常见问题与排查思路在 CMIP6 数据处理过程中最容易遇到的问题主要集中在数据格式、时间处理、内存和绘图四个方面。下面汇总成表便于快速定位。问题现象常见原因解决思路open_dataset报错或读取极慢缺少 netCDF4 或 h5netcdf 引擎安装netcdf4库并指定enginenetcdf4时间轴无法解析CMIP6 使用 360 天或 noleap 日历打开时设置use_cftimeTrue使用 cftime 对象经纬度范围显示异常数据经度为 0-360 或 -180-180 不一致使用assign_coords统一经度范围再sortby内存不足一次加载全部全球日数据使用chunk参数配合 dask按时间或空间分块读取插值后出现 NaN目标网格超出源数据范围检查经纬度边界必要时扩展网格范围多个模式分辨率不一致不同模式网格不同统一插值到公共网格如 1°×1°cartopy 海岸线下载失败缺少自然地球矢量数据手动下载 NE 数据并配置CARTOPY_DATA_DIR环境变量在实际项目中建议尽量在数据预处理阶段一次性完成裁剪、重采样和格式转换输出为中间文件这样后续分析可以反复使用不需要每次重新处理原始数据。8. 最佳实践与工程建议8.1 数据管理规范化处理 CMIP6 数据时建议遵循“一次处理、多次复用”的原则。原始数据保留在data/raw目录预处理后的数据统一存放到data/processed目录并按以下格式命名变量_模式_情景_时间段_区域.nc例如tas_BCC-CSM2-MR_ssp245_2031-2060_China.nc这种命名方式可以避免后期混淆文件来源尤其是在同时处理多个模式、多个情景时。8.2 算力优化建议处理全球日尺度数据时内存压力是最大瓶颈。建议使用open_dataset时传入chunks参数让 dask 按块读取。优先裁剪到研究区域再执行重计算。使用xr.save_mfdataset分批写回结果。对于每日数据可以先聚合为月或季节数据再做趋势分析减少计算量。8.3 关于结果的可靠性与不确定性CMIP6 多模式集合的结果比单一模式更可靠。在实际评估报告中建议同时给出多模式集合中位数模式间 25% - 75% 分位范围显著变化的区域掩膜。这样可以在图中同时表达“变化信号”和“不确定性”避免给读者造成“预测很精确”的误解。8.4 版本管理与实验记录气候数据分析是一个高度可回溯的工作。建议使用 Git 管理脚本代码同时在每个输出图中保存对应的处理参数信息例如在图片标题或附注中标记数据版本、时间段、指数计算公式。这样在论文返修或项目汇报时需要重新生成图表也能快速定位。8.5 AI 模型的训练与验证边界使用机器学习做降尺度或偏差校正时要避免数据穿越。具体来说训练集与验证集应按照年份或空间区域划分不能随机打乱验证时段应独立于训练时段建议用前 70% 年份训练、后 30% 年份验证评估指标不能只看相关系数还要看均方根误差、偏差等绝对指标。如果模型在训练时表现很好、验证时严重退化首先要怀疑是否存在时空自相关问题。9. 总结与学习路线本文从 CMIP6 的基本概念出发串起了数据获取、Python 环境搭建、预处理、AI 分析思路、降尺度方法和极端气候指数计算的全流程。通过示例代码你可以掌握 xarray 处理 netCDF 数据的基本范式、Delta 降尺度与机器学习降尺度的核心思路以及极端气候指数的计算与可视化方法。接下来的学习建议按这个顺序展开熟悉 xarray 的维度、坐标、分组、重采样操作这是所有气候数据分析的基础下载一两个真实 CMIP6 模式数据手动完成区域裁剪和气候态计算尝试用 Delta 方法降尺度某区域气温并与原始模式结果对比继续深入机器学习降尺度学习特征工程和时空交叉验证阅读 ETCCDI 指数官方文档逐步实现更多极端指数。实际项目中建议先从“单个变量 单个情景 单个模式”跑通流程再扩展到多模式集合评估。气候数据分析工作量大、细节多把基础流程固化成脚本后后续替换数据就能快速产出结果这也是工程化思维在科研领域最直接的价值体现。
