文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python怎么实现Excel文件的合并

2023-06-29 13:28

关注

本文小编为大家详细介绍“Python怎么实现Excel文件的合并”,内容详细,步骤清晰,细节处理妥当,希望这篇“Python怎么实现Excel文件的合并”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。

一、单目录下面的数据合并

Python怎么实现Excel文件的合并

将2020下的所有文件进行合并,成一个文件:

import requestsimport jsonimport openpyxlimport datetimeimport datetime as dtimport timeimport pandas as pdimport csvfrom openpyxl import load_workbookfrom sqlalchemy import create_engineimport mathimport osimport glob
csv_list=glob.glob(r'D:\Python\03DataAcquisition\COVID-19\2020\*.csv')print("所有数据文件总共有%s" %len(csv_list))for i in csv_list:    fr=open(i,"rb").read() #除了第一个数据文件外,其他不读取表头    with open('../output/covid19temp0314.csv','ab') as f:        f.write(fr)    f.close()print('数据合成完毕!')

Python怎么实现Excel文件的合并

合并后的数据:

Python怎么实现Excel文件的合并

二、使用函数进行数据合并

## 02 使用函数进行数据合并import osimport pandas as pd # 定义函数(具有递归功能)def mergeFile(parent,path="",pathdeep=0,filelist=[],csvdatadf=pd.DataFrame(),csvdata=pd.DataFrame()):    fileAbsPath=os.path.join(parent,path)    if os.path.isdir(fileAbsPath)==True:        if(pathdeep!=0 and ('.ipynb_checkpoints' not in str(fileAbsPath))): # =0代表没有下一层目录            print('--'+path)        for filename2 in os.listdir(fileAbsPath):            mergeFile(fileAbsPath,filename2,pathdeep=pathdeep+1)    else:        if(pathdeep==2 and path.endswith(".csv") and os.path.getsize(parent+'/'+path)>0):            filelist.append(parent+'/'+path)    return filelist# D:\Python\03DataAcquisition\COVID-19path=input("请输入数据文件所在目录:")filelist=mergeFile(path)filelistcsvdata=pd.DataFrame()csvdatadf=pd.DataFrame()for m in filelist:    csvdata=pd.read_csv(m,encoding='utf-8-sig')    csvdatadf=csvdatadf.append(csvdata)# 由于2023年的数据还没有,所以不合并

Python怎么实现Excel文件的合并

(* ̄(oo) ̄)注: 这个的等待时间应该会比较长,因为一共有一百九十多万条数据。

将合并后的数据进行保存:

csvdatadf.to_csv("covid190314.csv",index=None,encoding='utf-8-sig')
csvdatadf=pd.read_csv("covid190314.csv",encoding='utf-8-sig')csvdatadf.info()

Python怎么实现Excel文件的合并

读取新冠疫情在2020/0101之前的数据:

beforedf=pd.read_csv(r'D:\Python\03DataAcquisition\COVID-19\before20201111.csv',encoding='utf-8-sig')
beforedf.info()

Python怎么实现Excel文件的合并

Python怎么实现Excel文件的合并

将两组数据合并:

tempalldf=beforedf.append(csvdatadf)tempalldf.head()

Python怎么实现Excel文件的合并

三、处理港澳台数据

Python怎么实现Excel文件的合并

如图所示:要将Country_Region从Hong Kong变成China。澳门和台湾也是如此:

查找有关台湾的数据:

beforedf.loc[beforedf['Country/Region']=='Taiwan']beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan')]
beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan'),'Province/State']='Taiwan'beforedf.loc[beforedf['Province/State']=='Taiwan','Country/Region']='China'beforedf.loc[beforedf['Province/State']=='Taiwan']

Python怎么实现Excel文件的合并

香港的数据处理:

beforedf.loc[beforedf['Country/Region'].str.contains('Hong Kong'),'Province/State']='Hong Kong'beforedf.loc[beforedf['Province/State']=='Hong Kong','Country/Region']='China'afterdf.loc[afterdf['Country_Region'].str.contains('Hong Kong'),'Province_State']='Hong Kong'afterdf.loc[afterdf['Province_State']=='Hong Kong','Country_Region']='China'

澳门的数据处理:

beforedf.loc[beforedf['Country/Region'].str.contains('Macau'),'Province/State']='Macau'beforedf.loc[beforedf['Province/State']=='Macau','Country/Region']='China'afterdf.loc[afterdf['Country_Region'].str.contains('Macau'),'Province_State']='Macau'afterdf.loc[afterdf['Province_State']=='Macau','Country_Region']='China'

最终将整理好的数据进行保存:

beforedf.to_csv("beforedf0314.csv",index=None,encoding='utf-8-sig')afterdf.to_csv("afterdf0314.csv",index=None,encoding='utf-8-sig')

Python怎么实现Excel文件的合并

读到这里,这篇“Python怎么实现Excel文件的合并”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯