首页 > 其他 > 详细

Elasticsearch数据建模笔记

时间：2020-03-16 00:50:57      阅读：54      评论：0      收藏：0      [点我收藏+]
数据建模
  • 数据建模是创建数据模型的过程
    • 数据模型是对真实世界进行抽象描述的一种工具和方法，实现对现实世界的映射
    • 三个过程：概念模型=》逻辑模型=》数据模型
      • 数据模型：结合具体的数据库，在满足业务读写性能等需求的前提下，确定最终定义
  • 数据建模：功能需求+性能需求
    • 逻辑模型（功能需求）
      • 实体属性
      • 实体之间的关系
      • 搜索相关的配置
    • 物理模型（性能需求）
      • 索引模版
        • 分片数量
      • 索引Mapping
        • 字段配置
        • 关系处理
  • 对字段进行建模
技术分享图片
          技术分享图片
    • 字段类型：
      • Text vs Keyword
        • Text
          • 用于全文本字段，文本会被Analyzer分词
          • 默认不支持聚合分析及排序。需要设置fielddata为true
        • Keyword
          • 用于id,枚举及不需要分词的文本。例如电话号码，email地址，手机号码，邮政编码，性别等
          • 适用于Filter(精确匹配)，Sorting和Aggregations
        • 设置多字段类型
          • 默认会为文本类型设置成text,并且设置一个keyword的子字段
          • 在处理人类语言时，通过增加“英文”，“拼音”和“标准”分词器，提高搜索结果
      • 结构化数据
        • 数值类型
          • 尽量选择贴近的类型。例如可以用byte,就不要用long
        • 枚举类型
          • 设置为keyword。即便是数字，也应该设置成keyword,获取更加好的性能
        • 其他
          • 日期/布尔/地理信息
    • 检索
      • 如不需要检索
        • Enable设置成false
      • 如不需要检索
        • Index设置成false
      • 对需要检索的字段，可以通过如下配置，设定存储粒度
        • Index_options/Norms：不需要归一化数据时，可以关闭
    • 聚合及排序
      • 如不需要排序和聚合分析
        • Enable设置成false
      • 如不需要排序或者聚合分析
        • Doc_value/fielddata设置成false
      • 更新频繁，聚合查询频繁的keyword类型的字段
        • 推荐eager_global_ordinals设置为true
    • 额外的存储
      • 是否需要专门存储当前字段数据
      • Disable _source:节约磁盘；适用于指标型数据
        • 一般建议考虑增加压缩比
        • 无法看到_source字段，无法ReIndex 无法Upadte
        • Kibana中无法做discovery
  • 最佳实践
    • 建模建议一：如何处理关联关系

            技术分享图片

技术分享图片
    • 建模建议二：避免过多字段
      • 一个文档中，最好避免大量的字段
        • 过多的字段数不容易维护
        • Mapping信息保存在Cluster State中，数据量过大，对集群性能会有影响（Cluster State信息需要和所有的节点同步）
        • 删除或者修改数据需要reindex
      • 默认最大字段数是1000，可以设置index.mapping.tatal_fields.limt限定最大字段数
      • Dynamic vs Strict
        • Dynamic（生产环境中，尽量不用打开Dynamic）
          • true-未知字段会被自动加入
          • false-新字段不会被索引。但是会保存在_source
          • strict-新字段不会被索引，文档写入失败
        • Strict
          • 可以控制道字段级别　　
      • 当Dynamic设置为True,同时采用扁平化的设计且键值对过多会导致字段数量的膨胀，通过Nested对象保存key/value可以减少字段数量。
    • 建模建议三：避免正则查询
      • 通过 Inner Object避免低性能的正则匹配　
{
  "version":{
  "display_name":"7.1.0",
  "marjor":7,
  "minor":1,
  "hot_fix":0  
  }
}
    • 建模建议四：避免空值引起的聚合不准确
      • 使用Null_Value解决空值的问题
    • 建模建议五：为索引的Mapping加入Meta信息便于管理
{
  "mappings": {
    "_meta": {
      "software_version_mapping": "1.0"
    }
  }
}

 

 

Mapping字段的相关设置
https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html
 

Elasticsearch数据建模笔记

原文：https://www.cnblogs.com/Onlywjy/p/12501269.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
分享档案
更多>
2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)
最新文章
更多>
教程昨日排行
更多>
友情链接
汇智网   PHP教程   插件网  
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣，分享程序人生！