文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

pyspark自定义UDAF函数调用报错如何解决

2023-07-02 07:57

关注

这篇文章主要讲解了“pyspark自定义UDAF函数调用报错如何解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“pyspark自定义UDAF函数调用报错如何解决”吧!

问题场景:

在SparkSQL中,因为需要用到自定义的UDAF函数,所以用pyspark自定义了一个,但是遇到了一个问题,就是自定义的UDAF函数一直报

AttributeError: 'NoneType' object has no attribute '_jvm'

问题描述

在新建的py文件中,先自定义了一个UDAF函数,然后在 if __name__ == '__main__': 中调用,死活跑不起来,一遍又一遍的对源码,看起来自定义的函数也没错:过程如下:

import decimalimport osimport pandas as pdfrom pyspark.sql import SparkSessionfrom pyspark.sql import functions as Fos.environ['SPARK_HOME'] = '/export/server/spark'os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"@F.pandas_udf('decimal(17,12)')def udaf_lx(qx: pd.Series, lx: pd.Series) -> decimal:    # 初始值 也一定是decimal类型    tmp_qx = decimal.Decimal(0)    tmp_lx = decimal.Decimal(0)    for index in range(0, qx.size):        if index == 0:            tmp_qx = decimal.Decimal(qx[index])            tmp_lx = decimal.Decimal(lx[index])        else:            # 计算lx: 计算后,保证数据小数位为12位,与返回类型的设置小数位保持一致            tmp_lx = (tmp_lx * (1 - tmp_qx)).quantize(decimal.Decimal('0.000000000000'))            tmp_qx = decimal.Decimal(qx[index])    return tmp_lxif __name__ == '__main__':    # 1) 创建 SparkSession 对象,此对象连接 hive    spark = SparkSession.builder.master('local[*]') \        .appName('insurance_main') \        .config('spark.sql.shuffle.partitions', 4) \        .config('spark.sql.warehouse.dir', 'hdfs://node1:8020/user/hive/warehouse') \        .config('hive.metastore.uris', 'thrift://node1:9083') \        .enableHiveSupport() \        .getOrCreate()    # 注册UDAF 支持在SQL中使用    spark.udf.register('udaf_lx', udaf_lx)    # 2) 编写SQL 执行    excuteSQLFile(spark, '_04_insurance_dw_prem_std.sql')

然后跑起来就报了以下错误:

Traceback (most recent call last):  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 835, in _parse_datatype_string    return from_ddl_datatype(s)  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 827, in from_ddl_datatype    sc._jvm.org.apache.spark.sql.api.python.PythonSQLUtils.parseDataType(type_str).json())AttributeError: 'NoneType' object has no attribute '_jvm'During handling of the above exception, another exception occurred:Traceback (most recent call last):  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 839, in _parse_datatype_string    return from_ddl_datatype("struct<%s>" % s.strip())  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 827, in from_ddl_datatype    sc._jvm.org.apache.spark.sql.api.python.PythonSQLUtils.parseDataType(type_str).json())AttributeError: 'NoneType' object has no attribute '_jvm'During handling of the above exception, another exception occurred:Traceback (most recent call last):  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 841, in _parse_datatype_string    raise e  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 831, in _parse_datatype_string    return from_ddl_schema(s)  File "/root/anaconda3/lib/python3.8/site-packages/pyspark/sql/types.py", line 823, in from_ddl_schema    sc._jvm.org.apache.spark.sql.types.StructType.fromDDL(type_str).json())AttributeError: 'NoneType' object has no attribute '_jvm'

我左思右想,百思不得骑姐,嗐,跑去看 types.py里面的type类型,以为我的 udaf_lx 函数的装饰器里面的 &lsquo;decimal(17,12)&rsquo; 类型错了,但是一看,好家伙,types.py 里面的774行

_FIXED_DECIMAL = re.compile(r"decimal\(\s*(\d+)\s*,\s*(-?\d+)\s*\)")

这是能匹配上的,没道理啊!

原因分析及解决方案:

然后再往回看报错的信息的最后一行:

AttributeError: 'NoneType' object has no attribute '_jvm'

竟然是空对象没有_jvm这个属性!

一拍脑瓜子,得了,pyspark的SQL 在执行的时候,需要用到 JVM ,而运行pyspark的时候,需要先要为spark提供环境,也就说,内存中要有SparkSession对象,而python在执行的时候,是从上往下,将方法加载到内存中,在加载自定义的UDAF函数时,由于有装饰器@F.pandas_udf的存在 , F 则是pyspark.sql.functions, 此时加载自定义的UDAF到内存中,需要有SparkSession的环境提供JVM,而此时的内存中尚未有SparkSession环境!因此,将自定义的UDAF 函数挪到 if __name__ == '__main__': 创建完SparkSession的后面,如下:

import decimalimport osimport pandas as pdfrom pyspark.sql import SparkSessionfrom pyspark.sql import functions as Fos.environ['SPARK_HOME'] = '/export/server/spark'os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"if __name__ == '__main__':    # 1) 创建 SparkSession 对象,此对象连接 hive    spark = SparkSession.builder.master('local[*]') \        .appName('insurance_main') \        .config('spark.sql.shuffle.partitions', 4) \        .config('spark.sql.warehouse.dir', 'hdfs://node1:8020/user/hive/warehouse') \        .config('hive.metastore.uris', 'thrift://node1:9083') \        .enableHiveSupport() \        .getOrCreate()    @F.pandas_udf('decimal(17,12)')    def udaf_lx(qx: pd.Series, lx: pd.Series) -> decimal:        # 初始值 也一定是decimal类型        tmp_qx = decimal.Decimal(0)        tmp_lx = decimal.Decimal(0)        for index in range(0, qx.size):            if index == 0:                tmp_qx = decimal.Decimal(qx[index])                tmp_lx = decimal.Decimal(lx[index])            else:                # 计算lx: 计算后,保证数据小数位为12位,与返回类型的设置小数位保持一致                tmp_lx = (tmp_lx * (1 - tmp_qx)).quantize(decimal.Decimal('0.000000000000'))                tmp_qx = decimal.Decimal(qx[index])        return tmp_lx    # 注册UDAF 支持在SQL中使用    spark.udf.register('udaf_lx', udaf_lx)    # 2) 编写SQL 执行    excuteSQLFile(spark, '_04_insurance_dw_prem_std.sql')

运行结果如图:

pyspark自定义UDAF函数调用报错如何解决

感谢各位的阅读,以上就是“pyspark自定义UDAF函数调用报错如何解决”的内容了,经过本文的学习后,相信大家对pyspark自定义UDAF函数调用报错如何解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯