文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Elasticsearch的删除映射类型怎么操作

2023-06-30 05:44

关注

这篇文章主要讲解了“Elasticsearch的删除映射类型怎么操作”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Elasticsearch的删除映射类型怎么操作”吧!

一 前言

在elasticsearch7.0.0或更高的版本中创建索引仅能包含单个映射类型。在具有多种映射类型的5.x版本中创建的索引将继续像以前一样在elasticsearch7.x中运行。类型将在elasticsearch7.0.0中的API中弃用,并在8.0.0中完全删除。

二 什么是映射类型?

从elasticsearch发布以来,每个文档都存储在单个索引中并分配了单个映射类型。映射类型用于表示要编制索引的文档或实体的类型。例如微博(twitter)索引可能具有用户(user)类型和推文(tweet)两个类型。

每种映射类型都可以有自己的字段,因此用户(user)类型可能有 full_name、user_name、email字段;而推文(tweet)类型可能有content、tweet_at字段和用户(user)类型的user_name字段。每个文档都有一个_type包含类型名称的元字段,通过在URL中指定类型名称,搜索可以限制为一种或多种类型:

GET twitter/user,tweet/_search{  "query":{    "match":{      "user_name":"kimchy"    }  }}

_type字段与文档组合_id以生成_uid字段,因此具有相同类型的文档_id可以存储在单个索引中。
映射类型也用于在文档中建立父子关系,因此类型的文档question可以是类型文档的父类answer
扯了半天淡,一切不都是挺好的嘛?那还为啥要删除映射类型呢?

三 为什么要删除映射类型?

最初(其实到现在),为了便于理解elasticsearch的数据组织,通常拿elasticsearch和关系型数据库做对比,比如我们谈到一个es索引(index)时,通常将它比喻为类似于SQL数据库中的database,而类型(type)等同于SQL数据库中的表。

这真是一个糟糕的比喻!让我们有了错误理解。因为在SQL数据库中,表彼此独立,一个表中的字段与另一个表中具有相同名称的字段无关,而映射类型中的字段不是这种情况。

在elasticsearch的索引中,不同映射类型具有相同名称的字段在内部由相同的Lucene字段支持。换句话说,使用上面的示例,用户(user)类型中的user_name字段存储在和推文(tweet)类型中的user_name字段完全相同的字段中,而且两种类型中的user_name字段必须具有相同的映射(定义)。

当我们希望删除一个类型的日期字段和同一个索引中另一个类型的布尔字段时,这可能会导致挫败感(可以理解为删除失败)。

最重要的是,在同一索引中存储具有很少或没有共同字段的不同实体会导致稀疏数据并干扰Lucene有效压缩文档的能力。

出于这些原因,我们决定从elasticsearch中删除映射类型的概念。

四 映射类型的替代方法

4.1 将映射类型分开存储在索引中

第一种方法是每个文档类型都有一个索引,例如微博(twitter)索引中,我们可以将推文(tweet)类型和用户(user)类型分开,分别存储在独立的索引中。这样两个相互的索引就不会引起字段冲突了。

这中方法有两个好处:

每个索引的大小可以根据其包含的文档数量进行适当的调整,比如我们为用户(user)类型分配较少的主分片,而为推文(tweet)类型分配较多的主分片。

4.2 自定义类型字段回到顶部

当然了,集群中可以存储多少个主分片是有限制的,我们不希望仅为几千个文档的集合而浪费整个分片。在这种情况下,我们可以实现自己的自定义type字段,该字段的工作方式与旧的_type相似。
还是上面微博(twitter)例子,最初,它的映射类型看起来是这样的:

PUT twitter{  "mappings": {    "user":{      "properties":{        "name":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "email":{          "type":"keyword"        }      }    },    "tweet":{      "properties":{        "content":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "tweet_at":{          "type":"date"        }      }    }  }}PUT twitter/user/kimchy{  "name":"狗子",  "user_name":"二狗子",  "email":"dog@twodog.com"}PUT twitter/tweet/1{  "name":"kimchy",  "tweet_ad":"2019-04-30T10:26:20Z",  "content":"单身狗求包养"}GET twitter/tweet/_search{  "query": {    "match": {      "user_name": "kimchy"    }  }}

如上示例,请在5.x及以下版本测试
我们也可以通过添加自定义type字段来实现相同目的:

PUT twitter{  "mappings": {    "doc":{      "properties":{        "type":{          "type":"keyword"        },        "name":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "email":{          "type":"text"        },        "content":{          "type":"text"        },        "tweet_at":{          "type":"date"        }      }      }  }}PUT twitter/doc/user-kimchy{  "type":"user",  "name":"狗子",  "user_name":"二狗子",  "email":"dog@twodog.com"}PUT twitter/doc/tweet-1{  "type":"tweet",  "user_name":"kimchy",  "tweet_at":"2019-04-30T10:26:20Z",  "content":"单身狗求包养"}GET twitter/_search{  "query": {    "bool": {      "must":[        {          "match": {            "user_name": "kimchy"          }        }      ],      "filter": {        "match":{          "type":"tweet"        }      }    }  }}

上述示例6.5.4版本运行无误。

五 没有映射类型的父/子

以前,通过将一个映射类型设置为父级,将一个或多个其他映射类型设置为子级来表示父子关系。现在,没有了多类型,我们就不能再使用这种语法了。除了表示文档之间的关系方式已改为使用新的join字段之外,父子特征将继续像以前一样运行。

六 删除映射类型的计划

这个删除映射类型的计划,对于用户来说是一个很大的变化,所以我们试图让它尽可能轻松,更改将如下所示:

在elasticsearch6.6.0中:

在elasticsearch7.x中:

在elasticsearch7.x中:

在elasticsearch8.x中:

七将多类型索引迁移到单一类型

Reindex API可用于将多类型索引转换为单类型索引。下面的例子可以在Elasticsearch 5.6或Elasticsearch 6.x中使用。在6.x中,不需要指定index.mapping。默认为单一类型。

7.1 每种文档类型的索引

第一个示例将微博(twitter)索引拆分为推文(tweets)索引和用户(users)索引:

PUT users{  "mappings": {    "user":{      "properties":{        "name":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "email":{          "type":"keyword"        }      }    }  }}PUT tweets{  "mappings": {    "tweet":{      "properties":{        "content":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "tweet_at":{          "type":"date"        }      }    }  }}POST _reindex{  "source": {    "index":"twitter",    "type":"user"  },  "dest": {    "index":"users"  }}POST _reindex{  "source": {    "index":"twitter",    "type":"tweet"  },  "dest": {    "index": "tweets"  }}

上述代码在6.5.4版本中运行无误。

上述的示例意思是,在之前我们在微博(twitter)索引中,有两个类型(tweet和user)。

现在要将两个类型分开,成为独立的索引。

所以,首先先创建出各自的索引(tweets和users),然后通过POST _reindex来完成迁移工作。

7.2 自定义类型字段

第二个示例添加自自定义的type字段,并将其设置为原始值_type

它还添加了类型到id,以防有任何不同类型的文档具有冲突的id:

PUT new_twitter{  "mappings": {    "doc":{      "properties":{        "type":{          "type":"keyword"        },        "name":{          "type":"text"        },        "user_name":{          "type":"keyword"        },        "email":{          "type":"keyword"        },        "content":{          "type":"text"        },        "tweet_at":{          "type":"date"        }      }    }  }}POST _reindex{  "source": {    "index":"twitter"  },  "dest":{    "index": "new_twitter"  },  "script": {    "source": """      ctx._source.type = ctx._type;      ctx._id = ctx._type + "-" + ctx._id;      ctx._type = "doc";    """  }}

上述代码在6.5.4版本运行无误。

感谢各位的阅读,以上就是“Elasticsearch的删除映射类型怎么操作”的内容了,经过本文的学习后,相信大家对Elasticsearch的删除映射类型怎么操作这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯