Python模块化开发：构建可重用、可维护的代码-编程学习网

一、自定义模块

定义：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。封装语句的最小单位，本质就是.py文件。

自定义模块：实际上就是定义.py,其中可以包含：变量定义，可执行语句，for循环，函数定义等等，它们统称模块的成员。（模块本身不宜过大，便于维护）

一个py文件拆分100文件,100个py文件又有相似相同的功能.冗余. 此时你要将100个py文件中相似相同的函数提取出来, input 功能,print()功能, time.time() os.path.....放在一个文件,当你想用这个功能拿来即用.类似于这个py文件: 常用的相似的功能集合模块。

模块就是一个py文件常用的相似的功能集合。

1.模块和包

import hashlib


def encrypt(data):
    """ 数据加密 """
    hash_object = hashlib.md5()
    hash_object.update(data.encode('utf-8'))
    return hash_object.hexdigest()


user = input("请输入用户名：")
pwd = input("请输入密码：")
md5_password = encrypt(pwd)

message = "用户名：{}，密码：{}".format(user, md5_password)
print(message)

在开发简单的程序时，使用一个py文件就可以搞定，如果程序比较庞大，需要10w行代码，此时为了代码结构清晰，将功能按照某种规则拆分到不同的py文件中，使用时再去导入即可。另外，当其他项目也需要此项目的某些模块时，也可以直接把模块拿过去使用，增加重用性。

如果按照某个规则进行拆分，发现拆分到 commons.py 中函数太多，也可以通过文件夹来进行再次拆分，例如：

├── commons
│   ├── convert.py
│   ├── page.py
│   └── utils.py
└── run.py

在Python中一般对文件和文件的称呼（很多开发者的平时开发中也有人都称为模块）：

一个py文件，模块（module）。
含多个py文件的文件夹，包（package）。

注意：在包（文件夹）中有一个默认内容为空的__init__.py的文件，一般用于描述当前包的信息（在导入他下面的模块时，也会自动加载）。

py2必须有，如果没有导入包就会失败。
py3可有可无。

2. 导入

当定义好一个模块或包之后，如果想要使用其中定义的功能，必须要先导入，然后再能使用。

导入，其实就是将模块或包加载的内存中，以后再去内存中去拿就行。

关于导如时的路径：

在Python内部默认设置了一些路径，导入模块或包时，都会按照指定顺序逐一去特定的路径查找。

import sys
print(sys.path)

[
    '当前执行脚本所在的目录', /Users/wupeiqi/PycharmProjects/luffyCourse/day14/bin
 /Users/wupeiqi/PycharmProjects/luffyCourse/day14
    '/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_display',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python39.zip',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/lib-dynload',
    '/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages',
    '/Applications/PyCharm.app/Contents/plugins/python/helpers/pycharm_matplotlib_backend'
    
]

windows:

[
    'C:\\Users\\Administrator\\Desktop\\pythonPro\\01.核心编程\\8.模块', 
    'C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python39\\python39.zip', 
    'C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python39\\DLLs', 
    'C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python39\\lib', 
    'C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python39', 
    'C:\\Users\\Administrator\\AppData\\Roaming\\Python\\Python39\\site-packages', 
    'C:\\Users\\Administrator\\AppData\\Roaming\\Python\\Python39\\site-packages\\win32', 
    'C:\\Users\\Administrator\\AppData\\Roaming\\Python\\Python39\\site-packages\\win32\\lib', 
    'C:\\Users\\Administrator\\AppData\\Roaming\\Python\\Python39\\site-packages\\Pythonwin', 
    'C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python39\\lib\\site-packages'
]

想要导入任意的模块和包，都必须写在如下路径下，才能被找到。

也可以自动手动在sys.path中添加指定路径，然后再导入可以，例如：

import sys
sys.path.append("路径A")

import xxxxx  # 导入路径A下的一个xxxxx.py文件

你以后写模块名称时，千万不能和内置和第三方的同名（新手容易犯错误）。

项目执行文件一般都在项目根目录，如果执行文件嵌套的内存目录，就需要自己手动在sys.path中添加路径。

pycharm中默认会将项目目录加入到sys.path中。

关于导入的方式：

导入本质上是将某个文件中的内容先加载到内存中，然后再去内存中拿过来使用。而在Python开发中常用的导入的方式有2类方式，每类方式都也多种情况。

第一类：import xxxx（开发中，一般多用于导入sys.path目录下的一个py文件）

模块级别

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

包级别

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── third
│   ├── __init__.py
│   ├── ali
│   │   └── oss.py
│   └── tencent
│       ├── __init__.py
│       ├── __pycache__
│       ├── sms.py
│       └── wechat.py
└── run.py

第二类：from xxx import xxx 【常用】，一般适用于多层嵌套和导入模块中某个成员的情况。

成员级别：

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── many.py
└── run.py

提示：基于from模式也可以支持 from many import *，即：导入一个模块中所有的成员（可能会重名，所以用的少）。

模块级别：

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   └── utils.py
├── many.py
└── run.py

包级别：

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

3. 相对导入

在导入模块时，对于 from xx import xx这种模式，还支持相对到导入。切记，相对导入只能用在包中的py文件中（即：嵌套在文件中的py文件才可以使用，项目根目录下无法使用）。

4. 导入别名

如果项目中导入成员/模块/包有重名，那么后导入的会覆盖之前导入，为了避免这种情况的发生，Python支持重命名，即：

from xxx.xxx import xx as xo
import x1.x2 as pg

除此之外，有了as的存在，让 import xx.xxx.xxxx.xxx 在调用执行时，会更加简单（「不常用，了解即可」）。

原来：

import commons.page

v1 = commons.page.pagination()

现在：

import commons.page as pg

v1 = pg.pagination()

5. 主文件

执行一个py文件时：

__name__ = "__main__"

导入一个py文件时：

__name__ = "模块名"

主文件，其实就是在程序执行的入口文件，例如：

├── commons
│   ├── __init__.py
│   ├── convert.py
│   ├── page.py
│   ├── tencent
│   │   ├── __init__.py
│   │   ├── sms.py
│   │   └── wechat.py
│   └── utils.py
├── many.py
└── run.py

我们通常是执行 run.py 去运行程序，其他的py文件都是一些功能代码。当我们去执行一个文件时，文件内部的 __name__变量的值为 main，所以，主文件经常会看到：

import many
from commons import page
from commons import utils


def start():
    v1 = many.show()
    v2 = page.pagination()
    v3 = utils.encrypt()


if __name__ == '__main__':
    start()

只有是以主文件的形式运行此脚本时start函数才会执行，被导入时则不会被执行。

二、第三方模块

第三方模块6000种左右，pip install 需要这个指令安装的模块,Beautiful_soup,request,Django,flask 等等。Python内部提供的模块有限，所以在平时在开发的过程中，经常会使用第三方模块。而第三方模块必须要先安装才能可以使用，下面介绍常见的3中安装第三方模块的方式。其实，使用第三方模块的行为就是去用别人写好并开源出来的py代码，这样自己拿来就用，不必重复造轮子了。。。。

1. pip（最常用）

这是Python中最最最常用的安装第三方模块的方式。

pip其实是一个第三方模块包管理工具，默认安装Python解释器时自动会安装，默认目录：

MAC系统，即：Python安装路径的bin目录下
 /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3
 /Library/Frameworks/Python.framework/Versions/3.9/bin/pip3.9
 
Windows系统，即：Python安装路径的scripts目录下
 C:\Python39\Scripts\pip3.exe
 C:\Python39\Scripts\pip3.9.exe

提示：为了方便在终端运行pip管理工具，我们也会把它所在的路径添加到系统环境变量中。

pip3 install 模块名称

默认安装的是最新的版本，如果想要指定版本：

pip3 install 模块名称==版本

例如：
pip3 install django==2.2

(1) pip更新

上图的黄色字体提示：目前我电脑上的pip是20.2.3版本，最新的是 20.3.3 版本，如果想要升级为最新的版本，可以在终端执行他提示的命令：

/Library/Frameworks/Python.framework/Versions/3.9/bin/python3.9 -m pip install --upgrade pip

注意：根据自己电脑的提示命令去执行，不要用我这里的提示命令哈。

(2) 豆瓣源

pip默认是去 https://pypi.org 去下载第三方模块（本质上就是别人写好的py代码），国外的网站速度会比较慢，为了加速可以使用国内的豆瓣源。因此可以设置镜像源的方式：

一次性使用：

pip3.9 install 模块名称  -i  https://pypi.douban.com/simple/

永久使用（配置）：

# 在终端执行如下命令
pip3.9 config set global.index-url https://pypi.douban.com/simple/

# 执行完成后，提示在我的本地文件中写入了豆瓣源，以后再通过pip去安装第三方模块时，就会默认使用豆瓣源了。
# 自己以后也可以打开文件直接修改源地址。
Writing to /Users/wupeiqi/.config/pip/pip.conf

写在最后，也还有其他的源可供选择（豆瓣应用广泛）：

阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/ 
清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学：http://pypi.mirrors.ustc.edu.cn/simple/

2. 其他方式

(1) 源码

如果要安装的模块在pypi.org中不存在或因特殊原因无法通过pip install 安装时，可以直接下载源码，然后基于源码安装，由于这种方式比较繁琐，这里有想法的可以自己去探索。

(2) 基于wheel

wheel是Python的第三方模块包的文件格式的一种，我们也可以基于wheel去安装一些第三方模块。安装wheel格式支持，这样pip再安装第三方模块时，就可以处理wheel格式的文件了。

pip3.9 install wheel

下载第三方的包（wheel格式），例如：

进入下载目录，在终端基于pip直接安装：

pip3 install requests-2.25.1-py2.py3-none-any.whl

无论通过什么形式去安装第三方模块，默认模块的安装路径在：

Max系统：
 /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Windows系统：
 C:\Python39\Lib\site-packages\

提醒：这个目录在sys.path中，所以我们直接在代码中直接导入下载的第三方包是没问题的。

三、内置模块

内置模块200种左右，python解释器自带的模块，time os sys hashlib等等。

Python内置的模块有很多，我们也已经接触了不少相关模块，接下来咱们就来做一些汇总和介绍。

内置模块有很多 & 模块中的功能也非常多，我们是没有办法注意全局给大家讲解，在此我会整理出项目开发最常用的来进行讲解。

1.os模块

OS提供了一些关于文件操作的功能：

import os

# 1. 获取当前脚本绝对路径
abs_path = os.path.abspath(__file__)
print(abs_path)

# 2. 获取当前文件的上级目录

base_path = os.path.dirname( os.path.dirname(路径) ）
print(base_path)

# 3. 路径拼接
p1 = os.path.join(base_path, 'xx')
print(p1)

p2 = os.path.join(base_path, 'xx', 'oo', 'a1.png')
print(p2)

# 4. 判断路径是否存在
exists = os.path.exists(p1)
print(exists)

# 5. 创建文件夹
os.makedirs(路径)

path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
if not os.path.exists(path):
    os.makedirs(path)

# 6. 是否是文件夹
file_path = os.path.join(base_path, 'xx', 'oo', 'uuuu.png')
is_dir = os.path.isdir(file_path)
print(is_dir) # False

folder_path = os.path.join(base_path, 'xx', 'oo', 'uuuu')
is_dir = os.path.isdir(folder_path)
print(is_dir) # True

# 7. 删除文件或文件夹
os.remove("文件路径")

2. random

此模块提供了和随机数获取相关的方法：

random.random()：获取从[0.0 , 1.0) 范围内的浮点数。

improt random
print(random.random())
# 0.8595089778726372

random.randint(a,b)：获取[a,b] 范围内的整数。

print(random.randint(3,10))

random.uniform(a,b)：获取[a,b) 范围内的浮点数。取决于操作系统

print(random.uniform(3,5))

random.shuffle(x)：把参数指定的数据中的元素打乱，其中参数必须是可变数据类型。混洗。（直接修改原列表）

lst = list(range(10))
random.shuffle(lst)
print(lst)
# [4, 6, 2, 7, 0, 8, 9, 3, 5, 1]

random.choice(seq)：函数可以从非空序列中取出一个随机元素。

alist = list('abcdef')
random.choice(alist)

random.choices(population, weights=None, *, cum_weights=None, k=1)函数可以从总体中随机抽取（有放回抽样）出容量为k的样本并返回样本的列表，可以通过参数指定个体的权重，如果没有指定权重，个体被选中的概率均等。

random.choices(alist,k=4)
# ['b', 'f', 'b', 'f']

random.sample(x,k)：从x中随机取k个数据，组成一个列表返回。（从不可变数据类型中取）（变相打乱元组，数据）

t = (1,2,3)

lst = random.sample(t,len(t))
print(lst)

小应用：验证码

import random

def get_random_code(length=6):
    data = []
    for i in range(length):
        v = random.randint(65,90)
        data.append(chr(v))

    return  ''.join(data)


code = get_random_code()
print(code)

关于内置模块还有很多，这里我们不做更多的介绍，会在后面继续更新...

四、项目开发规范

现阶段，我们在开发一些程序时（终端运行），应该遵循一些结构的规范，让你的系统更加专业。

1. 单文件应用

当基于python开发简单应用时（一个py文件就能搞定），需要注意如下几点。

"""
1.文件注释
"""

# 2.导包（内置，第三方，自定义）
import re
import random

import requests
from openpyxl import load_workbook


# 3.全局变量大写
DB = "XXX"

# 4.函数名规范，函数功能注释
def do_something():
    """ 函数注释 """

    # TODO # 5.待完成时，下一期实现xxx功能
    for i in range(10):
        pass


def run():
    """ 函数注释 """

    # 对功能代码进行注释  # 6.部分功能代码注释
    text = input(">>>")
    print(text)

# 7.主文件
if __name__ == '__main__':
    run()

2. 单可执行文件

新创建一个项目，假设名字叫【crm】，可以创建如下文件和文件夹来存放代码和数据。

crm
├── app.py        文件，程序的主文件（尽量精简）
├── config.py     文件，配置文件（放相关配置信息，代码中读取配置信息，如果想要修改配置，即可以在此修改，不用再去代码中逐一修改了）
├── db            文件夹，存放数据
├── files         文件夹，存放文件
├── src           包，业务处理的代码
└── utils         包，公共功能

3. 多可执行文件

新创建项目，假设名称叫【killer】，可以创建如下文件和文件夹来存放代码和数据。

killer
├── bin     文件夹，存放多个主文件（可运行）
│   ├── app1.py
│   └── app2.py
├── config              包，配置文件
│   ├── __init__.py
│   └── settings.py
├── db                  文件夹，存放数据
├── files               文件夹，存放文件
├── src                 包，业务代码
│   └── __init__.py
└── utils               包，公共功能
    └── __init__.py

4. 项目结构

设计项目目录结构的作用：

可读性高: 不熟悉这个项目代码的人，一眼就能看懂目录结构，知道程序启动脚本是哪个，测试目录在哪儿，配置文件在哪儿等等。从而非常快速的了解这个项目。
可维护性高: 定义好组织规则后，维护者就能很明确地知道，新增的哪个文件和代码应该放在什么目录之下。这个好处是，随着时间的推移，代码/配置的规模增加，项目结构不会混乱，仍然能够组织良好。

较好的目录结构方式（推荐）

bin是一个存放启动文件的目录,不管你文件的名字叫什么你只要放到bin目录下大家就知道这是一个启动文件：

#===============>start.py
# 开启项目的start文件。
import sys,os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(BASE_DIR)
from core import src
if __name__ == '__main__':
    src.run()

cores是一个存放项目的主逻辑,比如购物车,里边写的就是登陆充值购买等功能；

#===============>src.py
# 主要逻辑部分：
# 核心逻辑，代码放在这。
from conf import settings
from lib import common
import time
logger=common.get_logger(__name__)
current_user={'user':None,'login_time':None,'timeout':int(settings.LOGIN_TIMEOUT)}
def auth(func):
    def wrapper(*args,**kwargs):
        pass
    return wrapper
@auth
def buy():
    print('buy...')
@auth
def run():
    print('''
购物
查看余额
转账

lib是存放有一个公共组件的目录,什么是公共组件,就是在这个项目中陪别的功能频繁使用的功能；

#===============>common.py
# 公共组件放在这里：公共功能部分。
from conf import settings
import logging
import logging.config
import json
def get_logger(name):
    logging.config.dictConfig(settings.LOGGING_DIC)  # 导入上面定义的logging配置
    logger = logging.getLogger(name)  # 生成一个log实例
    return logger
def conn_db():
    db_path=settings.DB_PATH
    dic=json.load(open(db_path,'r',encoding='utf-8'))
    return dic

conf 是一个存放配置文件的目录,配置文件就是文件中的一些全局变量移到这里；

#===============>settings.py
# 配置文件，放一些路径或者信息等配置
import os
BASE_DIR=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
DB_PATH=os.path.join(BASE_DIR,'db','db.json')
LOG_PATH=os.path.join(BASE_DIR,'log','access.log')
LOGIN_TIMEOUT=5

db是存放这个项目需要使用到的一些文件；

// ===============>db.json
// 重要数据放在这里
{
    "students":[
        {"name":"lisa","age":18},
        {"name":"jack","age":18},
        //  ...
    ]
}

log是这个项目需要记录的日志文件存放位置；

"""
logging配置
"""
# 定义三种日志输出格式
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
                  '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# log配置字典
LOGGING_DIC = {
    # xxx
}

5. 关于README的内容

每个项目都应该有的一个文件，目的是能简要描述该项目的信息，让读者快速了解这个项目。它需要说明以下几个事项:

软件定位，软件的基本功能。
运行代码的方法: 安装环境、启动命令等。
简要的使用说明。
代码目录结构说明，更详细点可以说明软件的基本原理。
常见问题说明。

五、总结

模块化开发是Python编程中的一个重要实践。通过将代码分解为独立的模块，我们可以更好地管理、组织和复用代码。模块化开发使得我们的项目更易于扩展、维护和测试，并且还可以加速开发过程。在实际应用中，我们可以采用各种技术和工具来实现模块化开发，如使用Python的内置模块、第三方库、包管理工具等。通过运用模块化开发的原则和技巧，我们能够编写出结构清晰、易于理解和更具可持续性的Python代码。