文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python做全文检索引擎

2023-01-31 06:10

关注
                  **

python做全文检索引擎

**
最近一直在探索着如何用python实现像百度那样的关键词检索功能。说起关键词检索,我们会不由自主地联想到正则表达式。正则表达式是所有检索的基础,python中有个re类,是专门用于正则匹配。然而,光光是正则表达式是不能很好实现检索功能的。

python有一个whoosh包,是专门用于全文搜索引擎。
whoosh在国内使用的比较少,而它的性能还没有sphinx/coreseek成熟,不过不同于前者,这是一个纯python库,对python的爱好者更为方便使用。具体的代码如下

安装

输入命令行 pip install whoosh

需要导入的包有:

fromwhoosh.index import create_in

fromwhoosh.fields import *

fromwhoosh.analysis import RegexAnalyzer

fromwhoosh.analysis import Tokenizer,Token

中文分词解析器

class ChineseTokenizer(Tokenizer):
    """
    中文分词解析器
    """
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=True, removestops=True, start_pos=0, start_char=0,
                 mode='', **kwargs):
        assert isinstance(value, text_type), "%r is not unicode "% value
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        list_seg = jieba.cut_for_search(value)
        for w in list_seg:
            t.original = t.text = w
            t.boost = 0.5
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t


def chinese_analyzer():
    return ChineseTokenizer()

构建索引的函数

 @staticmethod
    def create_index(document_dir):
        analyzer = chinese_analyzer()
        schema = Schema(titel=TEXT(stored=True, analyzer=analyzer), path=ID(stored=True),
                        content=TEXT(stored=True, analyzer=analyzer))
        ix = create_in("./", schema)
        writer = ix.writer()
        for parents, dirnames, filenames in os.walk(document_dir):
            for filename in filenames:
                title = filename.replace(".txt", "").decode('utf8')
                print title
                content = open(document_dir + '/' + filename, 'r').read().decode('utf-8')
                path = u"/b"
                writer.add_document(titel=title, path=path, content=content)
        writer.commit()

检索函数

 @staticmethod
    def search(search_str):
        title_list = []
        print 'here'
        ix = open_dir("./")
        searcher = ix.searcher()
        print search_str,type(search_str)
        results = searcher.find("content", search_str)
        for hit in results:
            print hit['titel']
            print hit.score
            print hit.highlights("content", top=10)
            title_list.append(hit['titel'])
        print 'tt',title_list
        return title_list
阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯