ElasticSearch（一）：基本概念

学习课程链接

基本概念示意图

索引与文档更偏向于开发人员的视角，属于逻辑上的一种概念；节点与分片更偏向于运维人员的视角，属于物理上的一种概念。

索引

• Index——索引是文档的容器，是一类文档的集合
  • Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
  • Shard体现了物理空间的概念：索引中的数据分散在Shard上
• 索引的Mapping与Settings
  • Mapping定义文档字段的类型
  • Setting定义不同的数据分布
• 索引的不同语意
  • 名词：一个Elasticsearch集群中，可以创建很多个不同的索引
  • 动词：保存一个文档到Elasticsearch的过程也叫索引（indexing）；索引（动词）文档到ElasticSearch的索引（名词）中
  • 名词：一个B树索引，一个倒排索引

文档（Document）

• Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位。
  • 日志文件中的日志项
  • 一部电影的具体信息/一张唱片的详细信息
  • MP3播放器里的一首歌/一篇PDF文档中的具体内容
• 文档会被序列化成JSON格式，保存在Elasticsearch中
  • JSON对象由字段组成
  • 每个字段都有对应的字段类型（字符串/数值/布尔/日期/二进制/范围类型）
• 每个文档都有一个唯一的ID
  • 你可以自己指定ID
  • 或者通过Elasticsearch自动生成
• 文档的元数据
  • _index——文档所属的索引名
  • _type——文档所属的类型名
  • _id——文档唯一ID
  • _version——文档的版本信息
  • _scope——相关性打分
  • _source——文档的原始JSON数据

集群

• ElasticSearch集群实际上是一个分布式系统，而分布式系统需要具备两个特性：
  • 高可用性： 服务可用性：允许有节点停止服务；数据可用性：部分节点丢失，不会丢失数据。
  • 可扩展性：随着请求量的不断提升，数据量的不断增长，系统可以将数据分布到其他节点，实现水平扩展。
• Elasticsearch的分布式架构
  • 不同的集群通过不同的名字来区分，默认名字elasticsearch
  • 通过配置文件修改，或者在命令行中 -E cluster.name=geektime进行设定
  • 一个集群可以有一个或者多个节点

节点

• 节点是一个Elasticsearch的实例，本质上就是一个Java进程。
• 每个节点都有名字，可以通过配置文件进行配置，也可以通过命令行进行指定，如：-E node.name=node1。
• 每个节点在启动之后，会被分配一个UID，保存在data目录下。

节点类型

• Master-Eligible Node与Master Node
  • 每个节点启动之后，默认就是一个Master Eligible节点，当然可以在配置文件中将其禁止，node.master:false。
  • Master-Eligible Node可以参加选主流程，成为Master Node。
  • 当第一个节点启动时，它会将其选举为Master Node。
  • 每个节点都保存了集群状态，但只有Master Node才能修改集群的状态。
• Data Node
  • 可以保存数据的节点，负责保存分片数据，在数据扩展上起到至关重要的作用。
• Coordinating Node
  • 它通过接受Rest Client的请求，会将请求分发到合适的节点，最终将结果汇集到一起。
  • 每个节点都默认起到Coordinating Node的职责
• Hot &Warm Node
  • 不同硬件配置的Data Node，来实现Hot &Warm架构，降低集群部署的成本。
• Machine Learning Node
  • 负责机器学习的节点，常用来做异常检测。

节点类型配置

• 开发环境中一个节点可以承担多种角色。
• 生成环境中，应该设置单一的节点角色

分片

• 主分片用于解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点之上。
  • 一个主分片是一个运行的Lucene的实例
  • 主分片数是在索引创建时指定，后续不允许修改，除非Reindex
• 副本用于解决数据高可用的问题，它是主分片的拷贝。
  • 副本分片数可以动态调整
  • 增加副本数，在一定程度上可以提高服务的可用性

分片的设定

对于生产环境中分片的设定，需要提前做好容量规划，因为主分片数是在索引创建时预先设定的，后续无法修改。

• 分片数设置过小
  • 导致后续无法增加节点进行水平扩展。
  • 导致分片的数据量太大，数据在重新分配时耗时；
• 分片数设置过大
  • 影响搜索结果的相关性打分，影响统计结果的准确性；
  • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能；

Index 相关 API

#查看索引相关信息
GET kibana_sample_data_ecommerce

#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}

#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引
GET /_cat/indices?v&health=green

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc

Cluster相关API

get _cat/nodes?v
GET /_nodes/es7_01,es7_02
GET /_cat/nodes?v
GET /_cat/nodes?v&h=id,ip,port,v,m


GET _cluster/health
GET _cluster/health?level=shards
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
GET /_cluster/health/kibana_sample_data_flights?level=shards

# cluster state
GET /_cluster/state

#cluster get settings
GET /_cluster/settings
GET /_cluster/settings?include_defaults=true

GET _cat/shards
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason

ElasticSearch（一）：基本概念

原文：https://www.cnblogs.com/czbxdd/p/11638214.html