深入Python中的文件操作

 任何语言都离不开对文件的操作，那么Python语言是如何来操作和管理文件的。

编码方式

编码方式的历史大致为ASCII ->gb2312->unicode->utf-8，期间具体详细信息可以百度

来个编码解码的小例子先，记住中文可以进行GBK和utf-8编码，在GBk一个中文字符对应两个字节，在utf-8一个中文字符对应三个字节，中文不能进行ASCII编码。

>>> '刘润森'.encode('GBK') 
b'\xc1\xf5\xc8\xf3\xc9\xad' 
>>> '刘润森'.encode('ascii') 
Traceback (most recent call last): 
  File "", line 1, in  
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128) 
>>> 'Runsen'.encode('ascii') 
b'Runsen' 
>>> "刘润森".encode('utf-8') 
b'\xe5\x88\x98\xe6\xb6\xa6\xe6\xa3\xae' 
>>> '刘润森'.encode('GBK').decode('GBK') 
'刘润森' 
>>> '刘润森'.encode('GBK').decode('utf-8') 
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc1 in position 0: invalid start byte 

如果编码解码格式不一致可能会出现乱码，encode表示编码，decode表示解码。

 

文件操作的API

下面是Python文件操作的具体的API。

打开文件

Python的open()函数打开一个文件时，有若干个参数可用。然而，最常用的参数只有前两个。

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)注意，第一个是强制性的，其余的是可选的。如果不添加mode参数，文件将在Python中以只读模式打开。

 

encoding:可以不写。不写参数，默认的编码本是操作系统默认的编码本。windows默认gbk，linux默认utf-8，mac默认utf-8。

f=open('test.txt',encoding='utf-8')   #打开文件 
data=f.read()  #读取文件 
print(data) 
f.close() #关闭文件       

mode

读取文件

代码中用到的文件文件操作的1.txt 文件内容如下：

关注《Python之王》公众号 
作者：Runsen 

readline(),使用该方法时,需要指定打开文件的模式为r或者r+;

 

readlines(),读取全部行.返回一个列表，列表中的每个元素是原文件的每一行。如果文件很大，占内存，容易崩盘。

# 打开文件进行读取 
f = open("1.txt","r",encoding='utf-8') 
# 根据大小读取文件内容 
print('输出来自 read() 方法\n',f.read(2048)) 
# 关闭文件 
f.close() 
# 打开文件进行读写 
f = open("1.txt","r+",encoding='utf-8') 
# 读取第2个字和第2行行的文件内容 
print('输出来自 readline() 方法\n',f.readline(2)) 
print('输出来自 readlines() 方法\n',f.readlines(2)) 
# 关闭文件 
f.close() 
# 打开文件进行读取和附加 
f = open("1.txt","r",encoding='utf-8') 
# 打开文件进行读取和附加 
print('输出来自 readlines() 方法\n',f.readlines()) 
# 关闭文件 
f.close() 
 
# 输出如下 
输出来自 read() 方法 
 关注《Python之王》公众号 
作者：Runsen 
输出来自 readline() 方法 
 关注 
输出来自 readlines() 方法 
 ['《Python之王》公众号\n'] 
输出来自 readlines() 方法 
 ['关注《Python之王》公众号\n', '作者：Runsen'] 

写入文件

下面只介绍清除写 w和追加写 a

案例：将关注《Python之王》公众号写入 test.txt 文件中

# mode=w 没有文件就创建，有就清除内容，小心使用 
with open('test.txt', 'w', encoding='utf-8') as fb: 
      fb.write('关注《Python之王》公众号\n')   

下面再将作者：Runsen写入test.txt 文件中

with open('test.txt', 'w', encoding='utf-8') as fb: 
      fb.write('作者：Runsen\n')   

运行后会发现之前写的关注《Python之王》公众号内容修改为作者：Runsen，因为 w模式会清除原文件内容，所以小心使用。只要使用了w,就要一次性写完。

追加写 a

 

案例：将静夜思这首诗追加到 test.txt 文件中

# mode=a 追加到文件的最后 
with open('test.txt', 'a', encoding='utf-8') as fb: 
      fb.write('关注《Python之王》公众号\n')   
with open('test.txt', 'a'encoding='utf-8') as fb: 
      fb.write('作者：Runsen\n')       

指针操作

事物或资源都是以文件的形式存在，比如消息、共享内存、连接等，句柄可以理解为指向这些文件的指针。

句柄(handle)是一个来自编译原理的术语，指的是一个句子中最先被规约的部分，所以带有一个「句」字。

句柄的作用就是定位，两个APi还是tell和seek。

tell返回文件对象在文件中的当前位置，seek将文件对象移动到指定的位置，传入的参数是offset ，表示移动的偏移量。

 

下面通过示例对上述函数作进一步了解，如下所示：

with open('test.txt', 'rb+') as f: 
    f.write(b'Runsen') 
    # 文件对象位置 
    print(f.tell()) 
    # 移动到文件的第四个字节 
    f.seek(3) 
    # 读取一个字节，文件对象向后移动一位 
    print(f.read(1)) 
    print(f.tell()) 
    # whence 为可选参数，值为 0 表示从文件开头起算（默认值）、值为 1 表示使用当前文件位置、值为 2 表示使用文件末尾作为参考点 
    # 移动到倒数第二个字节 
    f.seek(-2, 2) 
    print(f.tell()) 
    print(f.read(1)) 
     
#输出如下 
6 
b's' 
4 
50 

上下文管理

我们会进行这样的操作：打开文件，读写，关闭文件。程序员经常会忘记关闭文件。上下文管理器可以在不需要文件的时候，自动关闭文件,使用with open即可。

# with context manager 
with open("new.txt", "w") as f: 
    print(f.closed) 
    f.write("Hello World!") 
print(f.closed) 
 
#输出如下 
False 
True 

如何批量读取多个文件

下面，批量读取某文件夹下的txt文件

file_list = ['1.txt', '2.txt', '3.txt','4.txt'] 
for path in file_list: 
    with open(path, encoding='utf-8') as f: 
        for line in f: 
            print(line) 

下面将批量读取文件夹下的txt文件的内容，合并内容到一个新文件5.txt中，具体实现的代码如下。

import os 
#获取目标文件夹的路径 
filedir = os.getcwd()+'\\'+'\\txt' 
#获取当前文件夹中的文件名称列表 
filenames = [] 
for i in os.listdir(filedir): 
    if i.split(".")[-1] == 'txt': 
        filenames.append(i) 
#打开当前目录下的5.txt文件，如果没有则创建 
f = open('5.txt','w') 
#先遍历文件名 
for filename in filenames: 
    filepath = filedir+'\\'+filename 
    #遍历单个文件，读取行数 
    for line in open(filepath,encoding='utf-8'): 
        f.writelines(line) 
        f.write('\n') 
#关闭文件 
f.close() 

其实在Window中只需要cd 至目标文件夹，即你需要将所有想要合并的txt文件添加至目标文件夹中，执行如下DOS命令 type *.txt > C:\目标路径\合并后的文件名.txt

练习

题目：创建文件data.txt,文件共100000行，每行存放一个1～100之间的整数，题目来源：牛客

import random 
 
f = open(‘data.txt’,‘w+’) 
for i in range(100000): 
  f.write(str(random.randint(1,100)) + ‘\n’) 
  f.seek(0) 
  print(f.read()) 
  f.close() 

题目：生成100个MAC地址并写入文件中，MAC地址前6位(16进制)为01-AF-3B，题目来源：牛客

import random 
import string 
 
def create_mac(): 
  MAC='01-AF-3B' 
  hex_num =string.hexdigits #0123456789abcdefABCDEF 
  for i in range(3): 
    n = random.sample(hex_num,2) 
    sn = '-' + ''.join(n).upper() 
    MAC += sn 
  return MAC 
 
def main(): 
  with open('mac.txt','w') as f: 
    for i in range(100): 
      mac = create_mac() 
      print(mac) 
      f.write(mac+'\n') 
 
main() 

本文已收录 GitHub，传送门~[1] ，里面更有大厂面试完整考点，欢迎 Star。