ElasticSearch

DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.1.0"
PREFIX="24"
GATEWAY="192.168.1.2"
DNS1="114.114.114.114"
IPV6_PRIVACY="no"

[root@localhost ~]# adduser elk
[root@localhost ~]# passwd elk

[root@localhost ~]# whereis sudoers
sudoers: /etc/sudoers.d /etc/sudoers /usr/share/man/man5/sudoers.5.gz
[root@localhost ~]# ls -l /etc/sudoers
-r--r-----. 1 root root 3960 Jul 15  2018 /etc/sudoers
[root@localhost ~]# vi /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
linuxidc ALL=(ALL)      ALL
## Allows members of the ‘sys‘ group to run networking, software,

export JAVA_HOME=/home/elk1/jdk1.8/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/LIB:$JRE_HOME/LIB:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

[root@localhost jdk1.8.0_171]# source /etc/profile
[root@localhost jdk1.8.0_171]# java -version
java version "1.8.0_171"

[root@localhost elasticserach]# tar -zxvf elasticsearch-6.3.1.tar.gz
[root@localhost elasticserach]# cd elasticsearch-6.3.1/bin
[root@localhost bin]# ./elasticsearch
    can not run elasticserach as root
[root@localhost bin]# su elk
[elk@localhost bin]$ ./elasticsearch
javo.nio.fileAccessDeniedException:/home/elk/elasticsearch/elasticsearch-6.3.1/config/jvm.options

[root@localhost bin]# chown -R elk:elk /home/elk1/elasticsearch   ##要在root账户下授权！

[elk@localhost config]$ vi jvm.options  ##改成2g
## See https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html
## for more information
##
################################################################

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space

-Xms2g
-Xmx2g
[elk@localhost bin]$ ./elasticsearch
[2019-03-23T05:22:00,380][INFO ][o.e.n.Node               ] [dbaiLyW] initialized
[2019-03-23T05:22:00,380][INFO ][o.e.n.Node               ] [dbaiLyW] starting ...

在另外一个窗口：
[root@localhost jdk1.8.0_171]# curl 127.0.0.1:9200
{
  "name" : "dbaiLyW",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "vm5Jpe7OTE-GdV4nUb5q1w",
  "version" : {
    "number" : "6.3.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "eb782d0",
    "build_date" : "2018-06-29T21:59:26.107521Z",
    "build_snapshot" : false,
    "lucene_version" : "7.3.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

#后台启动
[elk@localhost bin]$ ./elasticsearch -d
#关闭程序
[elk@localhost bin]$ ps -ef|grep elastic
[elk@localhost bin]$ kill 10097

[root@localhost bin]systemctl stop firewalld
[root@localhost bin]vi config/elasticsearch.yml  ##改下地址
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 192.168.1.0

[root@localhost bin]# vi /etc/security/limits.conf
* hard nofile 65536
* soft nofile 131072
* hard nproc 4096
* soft nproc 2048

# End of file
解释说明：
nofile - 打开文件的最大数目
noproc - 进程的最大数目
soft 指的是当前系统生效的设置值
hard 表明系统中所能设定的最大值

[root@localhost bin]# vi /etc/sysctl.conf
# For more information, see sysctl.conf(5) and sysctl.d(5).
vm.max_map_count=655360
fs.file-max=655360
参数解释说明：
vm.max_map_count=65530，因此缺省配置下，单个jvm能开启的最大线程数为其一半
file-max是设置 系统所有进程一共可以打开的文件数量 

# 状态查看命令
语法：ip:post/_cat/[args](?v|?format=json&pretty)
（?v表示显示字段说明,?format=json&pretty表示显示成json格式）
1、查看所有索引
GET _cat/indices?v
2、查看es集群状态
GET _cat/health?v

[elk@localhost soft]$ tar -zxvf kibana-6.3.1-linux-x86_64.tar.gz -C /home/elk/kibana/
# The default is ‘localhost‘, which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "192.168.1.0"
# The URL of the Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://192.168.1.0:9200"  

# Kibana uses an index in Elasticsearch to store saved searches, visualizations and
# dashboards. Kibana creates a new index if the index doesn‘t already exist.
kibana.index: ".kibana"  ##把它打开，创建index索引

[elk@localhost ~]$ cd kibana/kibana-6.3.1-linux-x86_64/bin/
[elk@localhost bin]$ ./kibana
在浏览器中访问：
http://192.168.1.0:5601/

PUT atguigu/doc/0
{
  "name":"zhangsan",
  "age":10
}

面向对象：表
id　　name　　age
1　　kris　　22
2　　alex　　18
面向文档：单条
----------------------
1　　kris　　22　　；　
--------------------------------　
2　　alex　　18；
----------------------------

    index--->①建库
    type-->②建表
    field-->③字段
    document-->存储数据的基本单元；
6.0之后，一个index中只能有一个type，
一个type中有多个文档，
一个document中有多个field字段

      {
        "_index": "kris",
        "_type": "doc",
        "_id": "3",
        "_score": 0.2876821,
        "_source": {
          "test2": "haha helo",
          "first_name": "Douglas",
          "last_name": "Fir",
          "age": 35,
          "about": "I like to build cabinets",
          "interests": [
            "forestry"
          ]
        }
      }

名词解释
?    索引 index
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。
?    类型 type
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。
?    字段Field
相当于是数据表的字段，对文档数据根据不同属性进行的分类标识
?    document
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。

分词：
　　k1: v1,
      k1: v1，v2,
      k1: v3    
倒排索引：
    v1：1, 2
    v2：2 （只有第二个中有这个值）
    v3：3

DocId    　　TF    　　Position    Offset
1            1         0       　　 <0,2>
3            1         0       　　 <0,2>

Character Filter    对原始文本进行处理        例：去除html标签、特殊字符等
Tokenizer   　　　　 将原始文本进行分词        例：培训机构-->培训，机构
Token Filters      分词后的关键字进行加工     例：转小写、删除语气词、近义词和同义词等

POST _analyze
{
    "analyzer":"standard",
    "text": "we are family"
}

与倒排索引相对应：
{
  "tokens": [
    {
      "token": "we",
      "start_offset": 0, ###we，前闭后开的区间[  )
      "end_offset": 2,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "are",
      "start_offset": 3,
      "end_offset": 6,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "family",
      "start_offset": 7,
      "end_offset": 13,
      "type": "<ALPHANUM>",
      "position": 2
    }
  ]
}

POST atguigu/_analyze
{
  "field": "name",
  "text":"hello world"
}

POST atguigu/_analyze
{
  "field": "about",   ##about可检测出默认的分词器      
  "text":"we are family"       "text":"we are fam?ily" 会把? 两边的分成2部分；
}

request：
POST _analyze
{
  "tokenizer": "standard",
  "filter": ["lowercase"],
  "text":"Hello WORLD"
}

response：
{
  "tokens": [
    {
      "token": "hello",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "world",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}

分词器（Analyzer）   　　　　 特点
Standard（es默认）   　　　　支持多语言，按词切分并做小写处理
Simple    　　　　　　　　　　按照非字母切分，小写处理
Whitespace   　　　　　　　 按照空格来切分
Stop    　　　　　　　　　　　去除语气助词，如the、an、的、这等
Keyword    　　　　　　　　　不分词
Pattern    　　　　　　　　　正则分词，默认\w+,即非字词符号做分割符
Language   　　　　　　　　 常见语言的分词器（30+）

POST _analyze
{
  "analyzer": "ik_smart",
  "text":"php是世界上最好的语言"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text":"php是世界上最好的语言"
}

PUT /{index}/{type}/{id}
{
  "field": "value",
  ...
}

POST test_search_index/doc/_bulk
{"index":{"_id":1}}
{"username":"alfred way","job":"java engineer","age":18,"birth":"1991-12-15","isMarried":false}
{"index":{"_id":2}}
{"username":"alfred","job":"java senior engineer and java specialist","age":28,"birth":"1980-05-07","isMarried":true}
{"index":{"_id":3}}
{"username":"lee","job":"java and ruby engineer","age":22,"birth":"1985-08-07","isMarried":false}
{"index":{"_id":4}}
{"username":"lee junior way","job":"ruby engineer","age":23,"birth":"1986-08-07","isMarried":false}