文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python如何实现大文本文件分割成多个小文件

2023-06-14 14:15

关注

小编给大家分享一下python如何实现大文本文件分割成多个小文件,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

python可以做什么

Python是一种编程语言,内置了许多有效的工具,Python几乎无所不能,该语言通俗易懂、容易入门、功能强大,在许多领域中都有广泛的应用,例如最热门的大数据分析,人工智能,Web开发等。

方法一:

读取文章所有的行,并存入列表中
2.定义分割成的小文本的行数
3.将原文本内容按一定行数依次写入小文件中
4.此方法对较小的大文件比较适合

代码:

#coding:utf-8#将大文本文件分割成多个小文本文件import ossourceFileName = "test.log" #定义要分割的文件def cutFile():    print("正在读取文件...")    sourceFileData = open(sourceFileName,'r',encoding='utf-8')    ListOfLine = sourceFileData.read().splitlines()#将读取的文件内容按行分割,然后存到一个列表中    n = len(ListOfLine)    print("文件共有"+str(n)+"行")    print("请输入需要将文件分割的个数:")    m = int(input("")) #定义分割的文件个数    p = n//m + 1    print("需要将文件分成"+str(m)+"个子文件")    print("每个文件最多有"+str(p)+"行")    print("开始进行分割···")    for i in range(m):        print("正在生成第"+str(i+1)+"个子文件")        destFileName = os.path.splitext(sourceFileName)[0]+"_part"+str(i)+".log" #定义分割后新生成的文件        destFileData = open(destFileName,"w",encoding='utf-8')        if(i==m-1):            for line in ListOfLine[i*p:]:                destFileData.write(line+'\n')        else:            for line in ListOfLine[i*p:(i+1)*p]:                destFileData.write(line+'\n')        destFileData.close()    print("分割完成")cutFile()

方法二:

依次读取指定行数的数据,并写入新的文件中,对于较大文件,采用此方法

import os#要分割的文件 source_file='track.log'#定义每个子文件的行数file_count=10000 #根据需要自定义def mk_SubFile(lines,srcName,sub):    [des_filename, extname] = os.path.splitext(srcName)    filename  = des_filename + '_' + str(sub) + extname    print( '正在生成子文件: %s' %filename)    with open(filename,'wb') as fout:        fout.writelines(lines)        return sub + 1def split_By_LineCount(filename,count):    with open(filename,'rb') as fin:        buf = []        sub = 1        for line in fin:            if len(line.strip())>0: #跳过空行                buf.append(line)                #如果行数超过指定的数,且数据为一个完整的记录,则将buf写入到一个子文件中,并初始化buf                line_tag=line.strip()[0] #取每一行第一个字符,如果该行为空,会报错,故加上前面判断                if len(buf) >= count and line_tag == '*': #每一个新的记录数据是从*标识开始                    buf = buf[:-1]                    sub = mk_SubFile(buf,filename,sub) #将buf写入子文件中                    buf = [line] #初始化下一个子文件的buf,第一行为*开头的                        #最后一个文件,文件行数可能不足指定的数        if len(buf) != 0:            sub = mk_SubFile(buf,filename,sub)    print("ok")if __name__ == '__main__':    split_By_LineCount(source_file,file_count)#要分割的文件名和每个子文件的行数

方法二中日志格式如下:
每一条完整的是记录是以*号开头,为了在子文件中不出现被截断的数据记录,因此需要确保每一个buf中是完整的记录,判断方法见代码

python如何实现大文本文件分割成多个小文件

方法三:基于大小分割

# -*- coding: utf-8 -*-#这种方法是按照大小分割文件,会存在同一行被分割在两个文件中的情况import osfilename = "track.log"#需要进行分割的文件size = 10000000 #分割大小10Mdef mk_SubFile(srcName,sub,buf):    [des_filename, extname] = os.path.splitext(srcName)    filename  = des_filename + '_' + str(sub) + extname    print( '正在生成子文件: %s' %filename)    with open(filename,'wb') as fout:        fout.write(buf)        return sub+1                        def split_By_size(filename,size):    with open(filename,'rb') as fin:        buf = fin.read(size)        sub = 1        while len(buf)>0:            sub = mk_SubFile(filename,sub,buf)            buf = fin.read(size)      print("ok")            if __name__=="__main__":    split_By_size(filename, size)

看完了这篇文章,相信你对“python如何实现大文本文件分割成多个小文件”有了一定的了解,如果想了解更多相关知识,欢迎关注编程网行业资讯频道,感谢各位的阅读!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯