文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python中jieba分词模块的用法

2023-06-04 11:58

关注

这篇文章主要讲解了“Python中jieba分词模块的用法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python中jieba分词模块的用法”吧!

0、前言

jieba库是进行中文分词的利器,根据文档描述,具有以下特点:

  1. 分词

  2. 提取关键词

  3. 搜索词汇位置

  4. 2、提取词汇

    在处理词汇时,常常我们会提取出现频率比较高的关键词,jieba.analyse.extract_tags()具有此功能,它接受 4 个参数

    • 搜索词汇位置

    • jieba 库也包含了定位词汇位置的功能,jieba.tokenize() 可以实现此功能,该函数接收字符串,返回一个生成器,包含所有分词结果以及始末位置,基本用法如下:

      import jiebastring = '今天天气特别好,很开心' result = jieba.tokenize(string)print(list(result))

      结果如下:

      [('今天天气', 0, 4), ('特别', 4, 6), ('好', 6, 7), (',', 7, 8), ('很', 8, 9), ('开心', 9, 11)]

      如果我们只是找到某个特定的词汇在文中的位置,拿之前的西游记文本为例,我们去寻找词汇 “行者” 第一次出现的位置

      with open('西游记.txt','r',errors='ignore')as f:    data = f.read()result = jieba.tokenize(data) for i in result:    if '行者' in i:        print(i)        break

      结果:

      ('行者', 8593, 8595)

      如此,就能很方便的找到特定词汇在文章中出现的位置。

    • <h5  white-space:normal;widows:1;background-color:#ffffff;box-sizing:border-box="" !important;"="">4、小结

    • 以上就是 jieba 库的常用的方法,该库还包括词性标注、并行分词、命令行分词、添加字典等等功能。
      更详细的内容参考官方文档:https://github.com/fxsjy/jieba
      对该库的算法感兴趣的同学可参考
      jieba分词的基本思路:
      https://segmentfault.com/a/1190000004061791
      对Python中文分词模块结巴分词算法过程的理解和分析:http://blog.csdn.net/rav009/article/details/12196623

感谢各位的阅读,以上就是“Python中jieba分词模块的用法”的内容了,经过本文的学习后,相信大家对Python中jieba分词模块的用法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯