美国国家气候数据中心（NCDC）数据下载与处理

1、数据下载网址：

ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/
注：用Google Chrome浏览器打开
数据源为NCDC（美国国家气候数据中心，National Climatic Data Center），隶属于NOAA（美国国家海洋及大气管理局，National Oceanic and Atmospheric Administration）

2、所需站点ID筛选

站点ID在isd-history里根据所属国家进行查询，中国的缩写为CH，将中国区的站点ID、经纬度全部筛选出，导入arcgis中显示为点数据NCDC_station.shp，用研究区边界对NCDC_station.shp进行裁剪，得到研究区内的站点分布，打开属性表导出，得到自己所需的站点ID，根据站点ID在网站进行对应下载，如下图所示。

3、站点数据下载

网站上为1901年~最新年份的数据，按年份分文件夹，每个年份的文件夹内为.gz格式的站点数据，站点文件命名格式为××××××（站点ID）-99999-××××（年份），找到自己所需的站点，点击即可下载。

4、数据格式解读

下载的数据没有表头，网站有对于各列数据含义的解读文件 isd-lite-format.txt
其中各列数据的中文含义分别是年、月、日、小时、气温、露点温度、气压、风向、风速、云量、累积降雨量-1小时、累积降雨量-6小时

5、为数据添加表头并输出为excel文件

用python对站点数据进行处理，代码引自他人教程

import pandas as pdimport numpy as npdata = pd.read_table('自己的文件路径/592871-99999-2022',header=None)'''原始数据中以空格分隔的12列数据，分别为：年、月、日、小时、温度、露点温度、气压、风向、风速、云量、1小时降雨量和6小时降雨量。'''# 构建空列表用于存放提取出来的各列数据data_list = []for line in data.values:    line_temp = [int(x) for x in line[0].split(' ') if x != '']    data_list.append(line_temp)df = pd.DataFrame(data_list,columns=['年','月','日','小时','温度','露点温度','气压','风向','风速','云量','1小时雨量','6小时雨量'])# 对数据中-9999的缺失值进行NaN替换df = df.replace(-9999,np.nan)# 数据说明文档中表示原始数据中温度、露点温度、气压、风速、降雨量的换算系数为10，所以要对原始数据中的对应数据除以10，进行换算。df['温度'] = df['温度']/10df['露点温度'] = df['露点温度']/10df['气压'] = df['气压']/10df['风速'] = df['风速']/10df['1小时雨量'] = df['1小时雨量']/10df['6小时雨量'] = df['6小时雨量']/10# 为了便于后续重采样分析数据，给数据增加一个DataFrame列df['Date'] = pd.PeriodIndex(year=df['年'],month=df['月'],day=df['日'],hour=df['小时'],freq='H')df = df.set_index(df['Date'])df.drop(columns= 'Date',inplace=True)print(df)# 保存为同名exceldf.to_excel('想输出的文件路径592871-99999-2022.xlsx')

6、将数据进行重采样，逐小时变为逐日

用python的数据重采样将逐小时数据处理成逐日数据，

import pandasimport pandas as pddata1=pd.read_excel('自己的文件路径578530-99999-2022.xlsx',usecols=['Date','温度'])data1['Date']=pd.to_datetime(data1['Date'])data1=data1.set_index('Date')T1_mean = data1.resample('d').mean() #mean取日均温，若处理降雨数据则为sum，日总降雨量T1_max = data1.resample('d').max() #max取日最高温T1_min = data1.resample('d').min()  #min取日最低温daily_T1 = pandas.concat([T1_mean,T1_max,T1_min])print(daily_T1)data2=pd.read_excel('F:/NOAA_NCDC_2022/2022download/578660-99999-2022.xlsx',usecols=['Date','温度'])data2['Date']=pd.to_datetime(data2['Date'])data2=data2.set_index('Date')T2_mean = data2.resample('d').mean()T2_max = data2.resample('d').max()T2_min = data2.resample('d').min()daily_T2 = pandas.concat([T2_mean,T2_max,T2_min])print(daily_T2)data3=pd.read_excel('F:/NOAA_NCDC_2022/2022download/579720-99999-2022.xlsx',usecols=['Date','温度'])data3['Date']=pd.to_datetime(data3['Date'])data3=data3.set_index('Date')T3_mean = data3.resample('d').mean()T3_max = data3.resample('d').max()T3_min = data3.resample('d').min()daily_T3 = pandas.concat([T3_mean,T3_max,T3_min])print(daily_T3)#将excel写入对象writerwriter = pd.ExcelWriter(r"想输出的路径.xlsx", engine='xlsxwriter')# 分别将表T1、T2、T3写入Excel中的sheet1、sheet2、sheet3# 命名为daily_T1、daily_T2、daily_T3daily_T1.to_excel(writer, sheet_name='daily_T1')daily_T2.to_excel(writer, sheet_name='daily_T2')daily_T3.to_excel(writer, sheet_name='daily_T3')# 保存读写的内容writer.save()

补充：批量重采样

对生成的各个站点的excel格式的数据进行批量的重采样

# -*- coding: utf-8 -*-import pandas as pdimport osfolder_path = 'E:/存储站点数据的文件夹路径/'  # 文件夹路径output_folder = 'E:/Output/'   # 输出文件夹路径file_list = []  # 存储文件列表# 遍历文件夹中的文件for file_name in os.listdir(folder_path):    if file_name.endswith('.xlsx'):  # 只处理以.xlsx结尾的文件        file_path = os.path.join(folder_path, file_name)  # 拼接文件路径        file_list.append(file_path)  # 将文件路径添加到文件列表中# 批量处理文件for file in file_list:    # 生成输出文件名    output_file = os.path.join(output_folder, os.path.basename(file).replace('.xlsx', '_Daily_T.xlsx'))    data = pd.read_excel(file, usecols=['Date', '温度'])    data['Date'] = pd.to_datetime(data['Date'])    data = data.set_index('Date')    T_mean = data.resample('D').mean()    T_max = data.resample('D').max()    T_min = data.resample('D').min()    daily_T = pd.concat([T_mean, T_max, T_min], axis=1)    # 输出到Excel文件    daily_T.to_excel(output_file, index=True)  # 保留索引    print("变量已成功写入Excel文件：", output_file)#合并文件# 文件夹路径folder_path = 'E:Output/'  #修改为你存储文件的路径# 获取文件夹中的所有Excel文件file_list = [file for file in os.listdir(folder_path) if file.endswith('.xlsx')]# 创建一个空的DataFrame用于存储合并结果combined_data = pd.DataFrame()# 批量处理文件for file in file_list:    file_path = os.path.join(folder_path, file)  # 拼接文件路径    data = pd.read_excel(file_path)  # 读取Excel文件    combined_data = pd.concat([combined_data, data], axis=1)  # 按列合并数据# 输出合并后的表格print(combined_data)# 输出合并结果到新的Excel文件output_file = 'E:/combined_Daily_T.xlsx' combined_data.to_excel(output_file, index=False)print("合并结果已保存为新的Excel文件：", output_file)

来源地址：https://blog.csdn.net/weixin_45058703/article/details/126580860