文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

pydantic如何使用

2023-07-05 12:45

关注

这篇“pydantic如何使用”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“pydantic如何使用”文章吧。

pydantic是一个Python的数据验证和转换库,它的特点是轻量、快速、可扩展、可配置。笔者常用的用于数据接口schema定义与检查。

当前现状

在项目中,pydantic的定义是在数据的出口进行规范化,从而使得下游接受方能更快地去解析和清洗这些数据。

from pydantic import BaseModel, Field# 定义数据模型class Project(BaseModel):    url: str = Field(...)    title: str = Field(...)    content: str = Field(...)    company: List[Dict] = Field(default=[])    industry: str = Field(...)

以上是简单的一个数据模型定义,代码仅为示例,隐去了一些字段和配置。也就是我们必须传输给Project模型对应的数据才可以通过它的数据校验,否则就无法继续向下(可能是发往下游)

这么做一直以来没什么问题,直到本次项目中的接口返回出现了大更新,使得之前的所有代码层做的数据字段映射必须重新对应匹配。

比如之前title字段对应的是title,现在变成了detail-article-title

这使得我们必须在代码层做诸如:

# project_data均为接口返回的数据,加数据演示# 之前的代码project_data = {    "url": "https://www.baidu.com",    "title": "百度一下,你就知道",}project = Project(    **project_data)# 现在的代码project_data = {  "detail": {      "url": "xxx"      "article": {          "title": "项目标题",      }  }}project = Project(    url=project_data["detail"]["url"],    title=project_data["detail"]["article"]["title"],)

以上代码取值变得复杂,这还没考虑到数据可能存在出错的问题,比如detail字段不存在,这样就会导致KeyError异常。

而且这并不是夸张的举例(因为事实情况更复杂)。

我怎么能容忍这种情况呢?

解决方案

我当然不是想摒弃掉pydantic,而是想找到一种结合它更优雅的方式来解决这个问题。

于是我第一时间想到了jmespath模块,因为它是一个JSON查询语言,可以用来在JSON数据中查找和提取数据。

from jmespath import searchproject_data = {    "detail": {        "article": {            "title": "项目标题",        }    }}title = search("detail.article.title", project_data)assert title == "项目标题"  # True# 即使是path不存在,也不会异常,而是返回Noneassert search("detail.article.title1", project_data) is None  # True

所以我打算做一个结合pydanticjmespath的方式来解决这个问题。

class Project(BaseModel):    url: str = Field(...)    title: str = Field(...)    content: str = Field(...)    company: List[Dict] = Field(default=[])    industry: str = Field(...)    @root_validator(pre=True, skip_on_failure=True)    def data_converter(cls, v):        return {            "url": search("detail.id", v),            "title": search("detail.article.title", v),            "content": search("detail.article.content", v),            "company": search("company[*].name", v),            "industry": search("industry", v)        }        @validator("url")    def url_validator(cls, v):        # 由于这里的v是拿到的ID,需要组合成url        return f"https://xxxxx/{v}"

从代码中可以知道,我是在root_validator中提前做了数据的转换,将jmespath的查询结果赋值给对应的字段。

但是做完之后我越看越变扭,我为了做这个事情,先要申明所有字段,还要对这些字段一一映射。

于是,我想到了pydanticConfig类,它可以用来配置pydantic的一些行为。而且通过查看源码,我认为我可以通过Field类中输入一个path变量,告诉未来的处理器,这个path是用来做数据提取的。

class Project(BaseModel):    url: str = Field(..., path="temporaryLibrary.id")    company_names: str = Field(..., path="company[0].enterprise.name")    versions: List[str] = Field(..., path="versionList[*].id")

当然现在代码是没有任何意义的,因为path是我们自定义的,pydantic并不知道如何处理它。

所以下一步我们要做的是,如何更好的让pydantic知道如何处理path

在多次翻阅它源代码,并结合官方文档中对Model类的介绍,我找到了一个可行的方案。

Pydantic models can be created from arbitrary class instances to support models that map to ORM objects.

也就是说,我可以将原始数据通过from_orm传递给pydantic的模型,然后通过Data binding的方式,将数据绑定到模型中。Data binding允许我们自定义数据的取值来源。

class ProjectGetter(GetterDict):    def get(self, key: str, default: Any) -> Any:  # noqa        # 由于getter_dict所能拿到的“数据权限”相对较低,        # 也就是它的权限仅仅是处理数据,而不是处理模型,        # 所以我们需要自己去拿到模型,然后再去拿到path        model, data = self._obj['model'], self._obj['data']        for name, field in model.__fields__.items():            path = field.field_info.extra.get('path')            if path and name == key:                return search(path, data)        return defaultclass Project(BaseModel):    url: str = Field(..., path="detail.id")    company_names: str = Field(..., path="company[0].enterprise.name")    versions: List[str] = Field(..., path="versionList[*].id")    @validator("url")    def url_validator(cls, v):        return f"https://www.baidu.com/{v}"    class Config:        # 通过orm_mode指定数据的来源        orm_mode = True        # 通过getter_dict指定数据的获取方式        getter_dict = ProjectGetterproject_data = {    "detail": {        "id": 1,        "article": {            "title": "项目标题",        }    },    "company": [      {        "enterprise": {          "name": "企业名称1"        }      },      {        "enterprise": {          "name": "企业名称2"        }      }    ],    "versionList": [{"id": "1.0"}, {"id": "2.0"}]}project = Project.from_orm({"model": Project, "data": project_data})print(project)# url='https://www.baidu.com/1' company_names='企业名称1' versions=['1.0', '2.0']

这样我们在业务端,只需要对Field指定其对应数据提取的path,而不需要再去写一堆的validator或者是在数据进入前做一堆的数据转换。

以上就是关于“pydantic如何使用”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯